uが真に好きなitem数を表します。)実験さて、上記の提案手法で実際にバイアスが取り除かれるのかどうか実験してみます。feedbackの人工データを生成し、実験を行いました*6。人工データは、trainingデータがアイテムの人気度によるバイアスを持ったようなデータになるよう生成しました。各アイテムのクリック数を多い順に並べたグラフ示します。一方で、testデータは真の嗜好情報が含まれるためモデルの真の性能を測ることができます。実験では、training用データの一部からvalidation用データを切り出します。次に、training用データを使って推薦モデルを学習し、validation用データ・test用データそれぞれで評価を行います。test用データでの評価を真の評価値とみなし、論文の手法を用いることによりvalidation用データでの評価がどれだけtest用データでの評価に近づくかを確認します。rankingを用いました。指標としてDCGスコアを用いました。実験結果はこのようになりました。単純なAOAスコア(式1によるスコア)ではtest用データで評価した場合に比べて過大評価されてしまっているのに対し、論文で提案されている手法を用いることにより過大評価の具合が抑えられ、より真の評価値に近づいていることがわかります。まとめこの記事では、クリックされやすさの異なるアイテムのバイアスを考慮した評価指標を用いることにより、推薦システムのより正確な性能評価を行う論文について解説しました。feedbackのdebiasについての研究も存在するので、興味を持たれた方は是非調べてみてください。した推薦システムにおけるdebiasの研究に関する日本語ブログとしては、「Counterfactualを知りたい」がとても参考になります。hiring!このような記事を書いた後で言うのもなんですが、やはりオフライン評価は限界があります。推定で多くの仮定を置いていることからもわかると思います。)より正確なモデルの評価を行うためにはABテストが非常に有効です。私はまだ入社半年ですが、これまでに何度もABテストにトライする機会をもらっています*7。これは、自社で推薦システムの系を持っていて迅速にABテストを回せる環境が整っており、なおかつ私のような新卒にも大きな裁量を与える企業だからこそできることだと思います。modelと呼びます。model以外にも数多く提案されていますが、それに関しては後の記事でまとめたいと思います。*3:現実問題では、そもそもクリックが発生してているからと言ってその記事が好きだと決めつけることはできません(例えば誤クリックや、本文の内容と大きく異なるタイトルに釣られてしまった場合など)。した状況をモデルに組み込む研究もなされていますが、今回の記事では対象外とします。evaluatorです。*5:実際、不偏推定量となることも論文中で示されています。*6:人工データ生成の詳細に関しては後日公開しようと思います。AI・機械学習チームの岩月です。月別アーカイブ注目記事はてなブログをはじめよう!m3techさんは、はてなブログを使っています。ブログを報告するスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。