IIR8章では、サーチエンジンの評価について考察する。サーチエンジンの何を評価したいのか。スピード?サイズ?コスト?それらは全て、ユーザの満足度が基となっている。ユーザの満足度とは何か。あるユーザにとっては反応スピードだったり、別のユーザにとってはUIだったりする。重要なのは、検索結果と情報ニーズとの適合性である。よって検索結果と情報ニーズとの適合性を評価していく。評価には以下のものが必要である。適合率(Precision)は、検索結果に対して、情報ニーズを満たす結果がどの程度含まれているかを示す尺度である。再現率(Recall)は、情報ニーズを満たす結果全体のうち、どの程度が検索結果に含まれているかを示す尺度である。上表を用いると、以下のような式になる。適合率と再現率はトレードオフである。適合率を良くしようとすると再現率が下がるし、再現率を良くしようとすると適合率が下がる。F値F値とは、適合率と再現率の調和平均であり、適合率と再現率のトレードオフの指標である。F値が高ければ性能が良いことを示す。以下のような式になる。αはPとRの重みであり、α=0.5(β=1)がよく用いられる。PとRを同じ重みにすることが多い。その場合は、以下のような式になる。F値は、ランキングされていない集合に対する評価尺度である。そこで、ランキングに対する評価を考えることにする。precision)と呼ばれ、ある点より再現率が高い範囲における適合率の最大値である。※同じ情報検索システムでも、クエリによって適合率-再現率曲線は大幅に異なる場合があるため、異なる情報ニーズ間の比較をするのには適していない。簡単な例を挙げておく。precision)という。典型的なグラフは以下のようになる。MAP平均適合率を各情報ニーズに付いて算出し、それを全情報ニーズについて平均したものを、MAPといい、複数の情報ニーズへの評価を一つの値にまとめる指標である。サイズが分かっている場合、そのサイズをRelとして、上位Rel件の適合率を求める。これをR-適合率という。適合率-再現率曲線では、異なる情報ニーズにおける比較は難しい。)とした、ROC曲線というものを用いる。以下のようなグラフになる。適合性評価のベンチマーク適合性評価には、以下のものが必要である。人間による適合性評価また、標準的なベンチマークとしては、Cranfield、TRECなど、様々なものがある。Kappa統計そもそも適合率評価とは主観的なものにすぎない。本当に適合しているかどうかをどのように判断したらよいか?そこで用いるのがKappa統計であり、複数の適合率判断に対して、判断の一致率を検定するものである。以下の式で求められる。A/BテストA/Bテストとは、一部のユーザにだけ新しいシステムを使ってみてもらい、今までのシステムとの効果を比較し、評価する手法。新しいシステムがユーザの満足度を向上させているかを直接的に見ることができる。Relevance今までは、適合性をクエリ-ドキュメント間の独立したものとして考えてきたが、他のドキュメントとの類似関係を利用して適合性を求めることを考える。Relevanceといい、ユーザの満足度を評価する、より現実的な手法といえる。多くのサーチエンジンのランキング結果表示は以下のようになっている。ここでは、赤枠で囲んだ部分に着目する。この部分をスニペットといい、そのページのサマリを表示する。サマリの表示方法として、以下の2つがある。静的サマリクエリに関係なく、常に同じサマリが表示される。サマリがドキュメントのサブセットであり、ドキュメントの最初の50ワードや、キーセンテンスといった、決まった部分を表示する。動的サマリサマリがクエリに依存し、クエリタームを含むセンテンスを表示してくれる。ユーザがドキュメントと情報ニーズが適合しているかを判定しやすいため、googleを初めとした多くのサーチエンジンで動的サマリが用いられている。21:36IIR8章まとめTweet広告を非表示にする関連記事2011-11-12IIR16章まとめ16章は、フラットクラスタリングについて。ク...2011-11-11IIR15章まとめ15章では、サポートベクターマシンとドキュメントにおける機械...2011-11-10IIR11章まとめ11章では確率モデルについて説明する。確率モデルは、クエリと...2011-11-10IIR12章まとめ12章は言語モデルについて。言語モデルとは何か?...2011-11-09IIR10章まとめ10章では、XMLにおける探索において。CLOSET超音波通信を利用したiPhoneアプリも開発。(1)はてなブログをはじめよう!pika_shiさんは、はてなブログを使っています。ブログを報告するスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。