Integrationこの広告は、90日以上更新していないブログに表示しています。分類問題の精度評価についてまとめておきます。代表的な評価指標にはどのようなものがあるのか、その中でどれを使えばいいのか、回帰分析の精度は使えるか、について順に書いていきます。今回は、下記の混合行列で表されるような疾病検査を例にとって説明します。陽性・陰性は予測クラス、疾病あり・疾病なしは正解クラスです。Precision陽性と判定された人のうち、実際に疾病がある人の割合。Value(陽性予測値)と呼ばれる。Recall実際に疾病がある人のうち、陽性と判定される人の割合。Rate(真陽性率)と呼ばれる。Specificity実際に疾病がない人のうち、陰性と判定される人の割合。Rate(真陰性率)と呼ばれる。F-measurePrecisionとRecallの調和平均。F1-measure(F1値)と呼ばれる。Fβ-measureのβ=1の場合に相当している。Accuracy陽性・陰性が疾病あり・なしを当てる割合。Accuracy(正確度)と呼ばれる。Curve)は、陽性/陰性の閾値を変えながらRecallとSpecificityをプロットした曲線(ROC曲線)の下の面積。「疾病あり・疾病なしの中から1人ずつランダムに抽出したときに、疾病ありの人の陽性度が疾病なしの人よりも高い確率」を表している。*1他の指標と異なり、閾値を一意に特定せずに算出する。評価指標をどう使い分けるか?上記のように評価指標には様々なものがある。どれを使えばいいのか?一般に、この評価指標が常に有用である、というようなものはない。何を目標にするかによって、それに応じた評価指標を用いるべきである。その際の指針としては、以下が役立つと思う。疾病の人のうち陽性と判定される人の割合が重要である場合→Recall上記の理由を以下で説明する。特定の閾値を設定せず、モデルそのものの精度を出したい場合は、AUCがよく使われる。その他の指標は閾値を設定後に算出される指標である。次に、閾値を設定して評価する場合。Accuracyは、正例・負例を逆にしても(つまり、疾病あり・なしと陽性・陰性を同時に逆にしても)、値は変わらない。関して対称ではないため、正例・負例を逆にすると値が違ってくる。F-measureは正例に着目した指標と言える。そこで、正例と負例を平等に扱いたいのであれば、Accuracyを利用すべきである。疾病検査の場合、本来の目的は「疾病の人を陽性と判断すること」であり、「疾病でない人を陰性と判断すること」は副次的なものであるため、Accuracyはあまり適切でない。疾病が全体の1%程度であるような、データが不均衡である場合は、Accuracyを用いるべきでない。全員に対して陰性と判定することでAccuracyは99%と非常に高くなるが、1%の疾病の人をすべて見逃すことになるからである。F-measureを利用する。Recallのどちらも着目する場合はその平均であるF-measureを用いるのが良い。Precisionのみ、Recallのみに注目するというシチュエーションは、あまり考えにくい。評価指標がRecallのみだと全員を陽性と判定することによりRecallを1にすることができてしまうし、Precisionのみではそのような極端なことはないが、陽性の閾値を高く設定することで高くすることができてしまう。回帰分析の評価指標との関係は?回帰分析は、分類問題の目的変数が連続値バージョンとみることができる。分類問題の学習アルゴリズムの中には、回帰分析を応用させた手法が多く、その場合回帰分析で用いられる評価指標を分類問題でも適用させることができる。BICはモデル選択の指標になりにくい。AICやBICはテストデータの数によって値や選択されるモデルが大きく変わってしまうし、決定木やランダムフォレストなどの分類問題に特有の手法では算出できないからである。BICは変数選択の指標にはなるが、モデル選択は分類問題の精度指標を用いるべきであると考えられる。*2AICとBICの使い分けについては、赤池先生が以下のように述べている。有意性が微妙なパラメータもモデルに含めたい場合→AIC上記の理由は以下のとおり。データ数が多い場合、BICは第2項のパラメータ数が大きく効いてくるようになる。パラメータ数を極力少なくするようなモデルが選択される。一方で、AICの第2項はデータ数によらないため、BICに比べて複雑な(パラメータ数の多い)モデルが選択されやすい。(1)検索はてなブログをはじめよう!tkdmahさんは、はてなブログを使っています。ブログを報告するスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。