みモデルが、どの程度良いか判定するする指標を性能評価指標といいます。そこで登場するのが混同行列です。「近藤行列」とイメージが刷り込まれているのですが、近藤さんの行列はかなり重要ですからしっかりとマスターしましょう。Negative)のグループに分けて分類することです。次のような表にすることができます。Negative)の4つの観点で予測結果をまとめた表です。モデルが他のものと比べて優れているかどうかを比較する基準になる数値が性能評価指標です。性能評価指標には次のものがあります。適合率:陽性であると予測したうち、実際に陽性である割合を示す再現率:本当に陽性であるケースのうち、陽性と予測できた割合を示す*適合率は精度という時があります。再現率を上げると適合率が下がることが確認できます。正解率(Accuracy)=(TP+TN)/(TP+FP+TN+FN)適合率(Precision)=TP/(TP+FP)再現率(Recall)=TP/(TP+FN)計算するとき混同行列の表を次のように簡略化すると計算しやすくなります。次の内容から混同行列を作ってみると良いです。混同行列を作ったら次のようになった。正解率は全体に対して予測が当たった割合。87.5%Pythonの結果は次のようになる。切り口を0の予測か1の予測かで結果が変わるので注意。再現率はスパムデータのうち、スパムと予測できた割合です。子供に見せる番組の仕分け:安心な番組とそうでない番組を切り分けるモデルを訓練して、良い番組を多少排除(再現率が低い)しても安全な番組だけ仕分ける(適合率が高い)監視ビデオから万引き犯を見つける:万引き犯を見分けるモデルを訓練して、万引き犯らしき人を確実にチェックできる。(再現率が高い)けれどもこの場合は適合率が低くなる。適合率と再現率はトレードオフの関係にあります。適合率か、再現率かで優先順位に迷った場合に使えます。数式的には調和平均が使われています。平均とするのは適切ではない。癌のリスクを分析するモデルを考えます。機械学習により2種類の分類モデルを学習しました。次の表は2つの分類モデルによる分類結果の混同行列です。テストに使用したデータ件数は100です。48ここで、「陽」は癌であることを意味します。患者に対して癌でないと誤診するリスクを最小にしたい場合、モデル1とモデル2のどちらを選ぶべきでしょうか。0.76判定はモデルの案件次第で適合率を優先するか再現率を優先するかということになります。model2は正解率80%、適合率64%、再現率94%になっています。適合率とは、陽性であると予測したうち、実際に陽性である割合を示す。再現率とは、本当に陽性であるケースのうち予測した陽性が何%かを示すものです。今回の案件の場合は再現率より適合率の方が優先されます。癌の発見を見逃すことは人命に関わりますので少しでも癌の兆候があれば陰性で合っても陽性と判定した方が良いからです。結果、数値の変動を分析すると癌の的中率は上がって再現率が上がります。適合率は下がる結果となります。その結果適合率はモデル1の方が高いのでモデル1を選ぶべきとなります。先ほどの例とは違いますが、次のような教師データと予測データを用意します。[1,0,0,1,1,1,0,1,1,0]混同行列は次のようになります。5このデータをPythonで混同行列を作成して、適合率と再現率とF1値を求めます。次の条件で作成します。SNSで共有しましょう。