CommentPR曲線・ROC曲線再考その1「歪みの増加とPR-AUCの変化」ROC曲線とPR曲線にて、歪みの大きいデータセット(陽性<<陰性)の分析評価にはROC曲線よりPR曲線の方が適していると述べたが、一概にそうとは言い切れない体験をしたのでここに記す。1つ実験を行ってみる。cancerのデータから、PR曲線を作成してみる。(機械学習に用いたのは均衡型ランダムフォレスト分類器。これは歪みの大きなデータセットの分類に特化したランダムフォレストの改良アルゴリズムである。precision))その際、陽性データの数を10分の1に減らした。変数tag_numの値だけ陰性データの数を倍にしていき、PR-AUCの変化を記録した。結果は以下のとおりである。0.9140349873613590このように、データの内容は変わっていないにも関わらず、単に陰性データの数が増える(すなわち、歪みが大きくなる)につれてPR-AUCは低下していることがわかる。0.9程度の分類ができているにも関わらず、PR-AUCは0.1未満となった。これを最大化するようにグリッドサーチを行ったところで、PR-AUCの最大値と最小値の差はほぼ誤差の範囲内であり、果たして意味があるのだろうか。歪みが大きくなるにつれてPR-AUCが低下する原理は以下のようなものである。100例ずつの陽性例と陰性例がともに90%の確率で正しく分類されている状態の混合行列を考えてみる。0.0826と、Precisionが大きく低下する。この時、陰性例に対する適合率が一定であるにも関わらず、データ規模が大きくなったために、偽陽性の絶対数が増えた。それが真陽性の値を無視できるほどの大きさになるとき、Precisionはこのように非常に小さな値となるのである。感覚的な表現をするなら、「少数グループの大多数よりも、大衆のごく一部の方が強い」と言えるかもしれない。Rate)と同一であるが、PrecisionはROC曲線に含まれないため、PR-AUCが非常に小さい場合でもROC-AUCは高く保たれうるのである。このような状況において、分類の精度が多少向上したところで、測定ごとの誤差も考えれば、その成果はPrecisionやPR-AUCに反映されるだろうか。筆者はとても疑わしいと感じる。そこでPR-AUCやROC-AUCに代わる新しい評価基準としてSP_indexなるものを筆者は考案したのであるが、結論から言うとこれは失敗であった。その際に新たな知見が得られたため、PR曲線とROC曲線の関係について今一度考えねばなるまいと感じるようになった。その詳細についてはまた次回とする。神経科学を研究している博士学生。Unityを活用して、世界の様々な現象をシミュレート・分析しています。理系分野だけでなく、政治学や社会学も、もちろん分析対象です。前記事、PR曲線・ROC曲線再考その1「歪みの増加とPR-AUCの変化」を受けて、非常に歪みの大きいデータセットに対してPR-AUCを評価基準とすることに疑念が生じた。コメントをキャンセルメールアドレスが公開されることはありません。SiteOrigin。