曲線を連動しています。曲線では分類の基準指標や悪い分類の基準指標を直感で判別できます。分類器の効果は各分類の母集団で予測した確率の分布に依存されています。予測した確率の分布の図が重なったら(図3の左部分)モデルの精度はランダムに分類する精度と同じになってしまいます。この場合は、学習したモデルは予測に役に立ちません。逆に良性腫瘍の人とガンの人を学習したモデルとって予測した確率の分布が大きく別れたら(図3の右部分)ガンの予測に良い効果を得られます。図3の場合は予測した確率の基準を0.2にして99%の予測精度を得られます。曲線で分類結果の品質を直感的に判断できますが実際に使う場合に数値の指標が必要です。この為にAUCという分類結果を評価する数値の指標が定義されています。曲線下の面積(積分)となります。ランダム分類器はのAUC値は0.5です。AUC値は0.5以上になれば分類器の効果がランダム分類器より良いです。AUC値は0.5以下になったら評価指標を逆にしてAUC値は0.5以上の分類器を得られます。AUC表4は経験的なAUCの評価基準です。まとめ今回は分類の問題を予測した結果の精度を評価する指標を皆さんに共有しました。いかがでしたでしょうか。データの分析で一番重要な内容は結果の評価方法です。皆さんのデータ分析課題にお役に立てれば幸いです。明日は「Androidでの自動UIテスト」についてのお話です。@gmoap_engineer本ブログで発信される情報は、各エンジニア個人の見解であり、弊社の公式見解ではありません。本ブログに掲載、引用等をしている商品またはサービス等の名称は、各社の商標または登録商標です。その他の事項について一切責任を負いかねます。発表する情報には注意を払っておりますが、公式発表、見解については、弊社WEBサイトおよびプレスリリースなどをご確認ください。GMOインターネットグループにおけるソーシャルメディア運用ポリシーについては次のページをご確認ください。本ブログに掲載のあるソフトウェアのダウンロードは自己責任で御願い致します。ソフトウェアのダウンロードの結果、ご利用者に何らかの損失・損害が生じたといえども、当社ではその責任を負いかねます。本ブログに掲載のあるソフトウェアを扱う際は、各ソフトウェアの公式リファレンスを参照のもとご使用下さい。ソフトウェアの実行の結果、ご利用者に何らかの損失・損害が生じたといえども、当社ではその責任を負いかねます。