当たり前の話かもしれないけど、自分は経験したことがなかったのでメモがてら書いてみる。評価を考える際に複数の指標がトレードオフの関係にあるというのはよくある話だと思う(例えばPrecisionとRecallの関係)。どれも上がるのは理想的には望ましいが、どちらかというとこれを重視したいというのがあるとしよう。検索フィルタリング(検索結果に残る側が正例)ユーザーの目に触れるところはちゃんとしたものを出したい。negative(誤って負例に分類してしまう)はある程度許容できる。positive(誤って正例に分類してしまう)は許容できる。漏れがあると嫌なので、Recallを特に重視したいF値が若干下がることは許容できて、Precision/Recallのバランスを自分が望む状況に倒したいのがやりたいこと。positiveを抑制したい。positiveを抑制できると考えられる。negativeの事例が若干増えてPrecisionは上がるRecallは下がるという状況が作れる。ある種のソフトなブラックリスト方式と捉えることができる。negativeを抑制したい。negativeになる事例を抑えやすくなると考えられる。よってRecallは上がるPrecisionは上がるという状況が作れる。特徴量の観点NLPのような特徴量が高次元スパースなデータの場合、学習事例を増やすというよりも特徴量次元が追加される効果のほうが大きいのかもしれない。10000次元あった特徴量がデータを追加することで重みが正しく修正されるというより、10000次元では捉えられなかった特徴量がデータを追加し15000次元になると捉えられるようになる、といったイメージ。正例/負例のみを追加するので、正例/負例のどちらかでのみactiveになる特徴量が多い、ということだと理解した。validationデータとの正例負例のバランスの不整合validationデータはいじらず、trainingデータのみ正例/負例を追加する、ということになるので、データセット間で正例負例のバランスが変わるという状況が起こる。samplingを行なうのが一概によいとは言えなさそうだ。Learning)でいい解決方法があるかもしれない。