12/14の記事です。Calendar参戦です。こんにちは、GMOアドマーケティングのS.Rです。機械学習で分類の問題を解決するときに得られた結果をどのように評価をすればよいか皆さんは知っていますか?今回はよく使われる分類問題の評価指標であるROC曲線とAUCを皆さんへ紹介します。Matrix):ROC曲線とAUCの説明に入る前に前提知識としてまず、混同行列の定義を皆さんへ説明します。Matrix)は、クラス分類の結果をまとめた表のことです(表1)。今回は例として分類モデルを使って腫瘍がガンになるかを予測します。図1は分類モデルで腫瘍がガンになるかならないかを計算した確率の分布図です。図1の結果で予測した確率0.7を判断基準としてガンになるか判断します。予測した結果の構成は表1です。予測した結果でガンになりそう人が110名おり、その中に本当にガンになった人は90名がいました。予測した結果で良性腫瘍の人が90名おり、その中に本当に健康な人は80がいました。この結果で真陽性率又は敏感度(青)、偽陽性率(緑)、真陰性率又は特異度(赤)、偽陰性率(紫)四つの指標を計算して表3の混同行列を作成します。曲線は真陽性率や真陰性率を組み合わせて作成した曲線です。図2の上半部分が良性腫瘍の人とガンになった人で予測した確率の分布図です。その中に青い部分が真陽性の分、赤い部分が偽陽性の分、紫部分が真陰性率の分、緑部分が偽陰性の分です。青い線はガンになるか判断する予測した確率の基準値です。