こんにちは、GMOアドマーケティングのS.Rです。機械学習の開発に、学習データの欠損値の対応は、重要な処理の一つです。今回は学習データの欠損値の対応法を皆さんへ紹介します。欠損値とは機械学習に利用したい学習データのうち、ある項目の値が欠けている問題の事です。6の住所が欠けています。欠損値のタイプ欠損値の発生には三つのタイプがあります。:完全にランダムな欠損です。欠けていたデータは他のデータに依存していないパターンです。:データは他の特徴量に依存して欠損します。体重の情報を集計する時に、男性より女性の未回答率が上がります。この場合の欠損になっていた体重のデータはMARです。random):欠損となった値はある分布に従います。正規分布に従うMNARMCARとMARには、使える手法があまりないので実務上は良く無視します。今回はMNARに使える手法を主に紹介します。欠損値を無視する学習データの量が十分に確保できる場合であれば、データセットから欠測値を取り除いてもいいです。欠損値を補完するデータ量が少ない場合は、単純に削除するとデータ量が減ってしまい、データが無駄になります。そこで、削除するのではなく何かしらデータを補完する必要があります。良く使われる補完方法は三つあります。中央値で補完する中央値はデータを小さい順に並べたデータのちょうど中央にあるデータです。データのサンプル数が奇数個の場合は真ん中にある値が中央値となりますが、上のデータのようにデータが偶数個の場合は中央に最も近い2つの値の平均値を中央値とします。最頻値で補完する最頻値は学習データで最も頻度が高い値です。まとめ今回は、機械学習で学習データの欠損値に対応する方法を紹介しました。欠損値の対応は、良い機械学習のモデルを作る為に必要な、重要な処理の一つです。今回のブログが皆さんの機械学習に関する開発にお役に立てば幸いです。明日は、satoshikiさんによる「ディレクターが頑張ってキーワード解析に取組んでみた」です。@gmoap_engineer本ブログで発信される情報は、各エンジニア個人の見解であり、弊社の公式見解ではありません。本ブログに掲載、引用等をしている商品またはサービス等の名称は、各社の商標または登録商標です。その他の事項について一切責任を負いかねます。発表する情報には注意を払っておりますが、公式発表、見解については、弊社WEBサイトおよびプレスリリースなどをご確認ください。GMOインターネットグループにおけるソーシャルメディア運用ポリシーについては次のページをご確認ください。本ブログに掲載のあるソフトウェアのダウンロードは自己責任で御願い致します。ソフトウェアのダウンロードの結果、ご利用者に何らかの損失・損害が生じたといえども、当社ではその責任を負いかねます。本ブログに掲載のあるソフトウェアを扱う際は、各ソフトウェアの公式リファレンスを参照のもとご使用下さい。ソフトウェアの実行の結果、ご利用者に何らかの損失・損害が生じたといえども、当社ではその責任を負いかねます。