募集中いろいろな大学などでの研究をわかりやすく紹介したり、研究生活のこと・データ解析のことなど書いたり。『データ解析の手順』における「5.回帰モデルもしくはクラス分類モデルを作る」についてです。実行するためのプログラムについてはこちらをご覧ください。組み合わせた半教師あり学習(半教師付き学習)による回帰分析について書きました。大学教授のブログ半教師あり学習のメリットはこちらをご覧ください。大学教授のブログPCAとPLSとを組み合わせた半教師あり学習は以下の手順で行われます。PCAにおける累積寄与率のしきい値を決めるPCAで使用する主成分の数は、累積寄与率がこの値を超える最初の成分数とします。しきい値を95%とすることで、5%をノイズとみなして除去することができます。(縦のサンプル方向につなげる)結合したデータの説明変数のオートスケーリングをするオートスケーリングとは各変数から平均値を引いて平均を0にするセンタリングと、各変数を標準偏差で割って標準偏差を1にするスケーリングを両方行うことです。スケーリングは任意ですが、センタリングは必ず行いましょう。しきい値から、使用する主成分数を決める目的変数の値のあるサンプルのみ、主成分スコアを取り出す取り出された主成分スコアと目的変数とをオートスケーリングするスケーリングは任意ですが、センタリングは必須です。して、それぞれにおいてクロスバリデーションにより目的変数の推定値を得るmは使用した主成分数です。クロスバリデーションとして、5-foldクロスバリデーションや2-foldクロスバリデーションを用いましょう。計算するRMSEの値が最小となる成分数を最適成分数とする最初の極大値をとる成分数を最適成分数とする方法もあります。(r2CV・RMSECV)を計算するr2Cは目的変数の持つ情報の何割を説明できるモデルかを表します。RMSECはモデルのもつ平均的な誤差を表します。r2CVは目的変数のもつ情報の何割を新しいデータに対して推定できる可能性があるかを表します。RMSECVは新しいデータを推定した場合に平均的な誤差はどれくらいになるかを表します。クロスバリデーションは、完全な外部データを用いた検証方法ではないため、r2CV・RMSECVが適切に『新しいデータ』に対する性能を表現しているわけではありませんが、その指標にはなります。r2CVが大きく、RMSECVが小さいモデルが良いモデルといえます。r2Cとr2CVとの差が大きかったり、RMSECとRMSECVとの差が大きかったりすると、モデルがオーバーフィットしている危険があります。目的変数の実測値と計算値とのプロット、そして実測値と推定値とのプロットを確認するこれにより外れ値がないか確認できます。オートスケーリングされた後の回帰係数、つまり標準回帰係数であるためです。標準偏差で割ってから回帰係数により目的変数の推定値を計算し、その後その推定値にオートスケーリングした時の目的変数の標準偏差をかけて平均値を足す、つまり元のスケールに戻す必要があります。公開中のプログラム・コード一覧PCAの教科書(随時更新)PLSの教科書(随時更新)オススメ記事セレクション。人工知能との未来における人の役割~現役のデータサイエンティストのメッセージ~集中する時間を確保するために大学教授が行っている8つのことtwitterでも発信中。univprofblog1無料メルマガでブログにない情報を配信中。データマイニングブログを勉強しながら役立つ情報を発信しています!フォローしていただけると嬉しいです。