結果を評価するための方法です。「まず、本当は陽性の人を、陽性として判定する割合はできるだけ大きくしたい。本当は陰性の人を、陽性と判定する割合はできるだけ小さくしたい」、という意識がある時に使われます。FN)で定義されます。FP率は、本当は陰性なのに陽性と判定された人の割合で、TP率は、本当は陽性で陽性と判定された人の割合です。陽性と判定された人の中で、正しく判定された人と、間違って判定された人を分け、それぞれを違う母数で割っています。冒頭の話を定量的に扱う時に使います。ベストな状況とは、TP率が一番大きい中で、FP率ができるだけ小さい時になります。FP率とTP率を、判定値が3と7の時の混同行列について計算してみます。判定値が3の時は、本当は陽性の人を陰性と判定することは絶対なく、この時のTP率は1になっています。判定値が7の時は、本当は陰性の人を陽性と判定することは絶対なく、この時のFP率は0になっています。絶対に間違わない判定方法が可能であれば、その方法ではTP率が1とFP率が0が両立させられることがわかります。上記では、判定値の例は2つだけでしたが、判定値を少しずつ変えると、下図のようになります。FP率とTP率を計算する目的TP率が一番大きい中で、FP率ができるだけ小さい時は、判定値が3である時でした。いう判定をしているのかがわかりやすいと思います。このページの例のように、わざわざFP率とTP率を計算しなくても、ヒストグラムを見るだけで、判定値を3にすることがベストであることを見つけられることもあります。複数の測定方法や計算式を比較する場合です。ROC曲線FP率とTP率の散布図は、ROC曲線と呼ばれています。上記のFP率とTP率の場合は、下図になります。完璧な判定ができる場合のデータとROC曲線は、例えば下のような場合です。左上の角で、直角に折れ曲がる線になっています。直角に折れ曲がる線に近いほど、良い方法と言えます。縦軸が0から1、横軸が0から1の範囲の全部が入りますので、この面積は1です。完璧から離れるほど、面積が狭くなりますので、この面積は判定の能力の指標になります。この面積は、AUCと呼ばれています。AUCを使うと、ROC曲線の比較を「見た目」ではなく、定量的に行うことができます。AUCは、0から1の間にあります。0.5ちょうどが、パターン認識がデタラメの場合です。上の例では、陽性であれば、出力値が高くなっていましたが、実際には逆の場合もあります。逆の場合は、AUCが0から0.5の間になります。ROC曲線やAUCの信頼区間ROCやAUCは、割合から求まりますので、サンプル数の情報が消えています。知っていると、サンプル数を考慮して、ROCやAUCの確からしさを評価したくなります。ネット上では、Rなどでそこまで評価できるプログラムが紹介されているようです。解説の中で、ROC曲線が出て来ます。ロジスティック回帰分析では確率を出せますが、この確率の数字では、精密検査を受けさせるかどうかの医師の判断には向かないとしています。本当は陽性の人(分母)を、「陽性」と判定できる割合としています。その判断にROC曲線による評価が合っています。ROC曲線やAUCが解説されています。Pythonを使う時のコード付きです。2014ROCやAUR(=AUC)の考え方がコンパクトにまとまっています。2014AUCが1に非常に近い時は、「モデルが良い」と考えたくなりますが、実際のデータ分析では「データの因果関係が間違っている」と考えた方が良いそうです。この本では、このような現象を「データのリーク」と呼んでいます。