特徴だけでなくサンプルの重複も確認して、なぜサンプル(dfの一行)が重複しているかを理解する。最後にデータが完全にランダムにサンプリングされているものか、何等かの時系列など規則に基づいてサンプリングされているかを確認する。いくつかの離散値しかとらない特徴については、ジッタを加えることもある(オーバーフィットしないように、プロットが重ならないように、など?)。Kaggleバリデーションコンペにおいては(コンペでなくとも)過学習をしたモデルを作らないようにすることが大切。cross-validation)などの解説。これらの分割の作り方は、データが時系列の時は注意する必要がある(テストデータよりも未来のデータを訓練データに含むべきではない)。あるケースとしてテストデータの分割はIDタイムスタンプ(データが常に同じ分布から発生していると仮定するなら)ランダム抽出で行う。特徴の作り方などによって分割の仕方が変わることもある。コンペの場合は、コンペの主催者がどのようにして(非公開の)テストデータを作成したか予測する必要がある。コンペでは公開されたリーダーボードと非公開のリーダーボードがあり、最終的に非公開のリーダーボードでのスコアが結果になる。公開されたリーダーボードでのスコアが手元でのクロスバリデーションのスコアと比較して大きく下がってしまったときはリーダーボードで使用されているデータが少なすぎる過学習している公開されているデータとの分布が異なるクロスバリデーション時のデータ分割方法に問題がないかなどを検証する必要がある。Leakages以下のカーネルがこのトピックに対応する内容だと思われる。つまるところ、実際に業務で予測モデルを運用しようと試みる人は予測モデルを運用するタイミングでの性能に近づくように正しいテストの設定・利用可能なデータの選択をする必要がある。逆にコンペだと、target(教師データ)の情報を直接・間接的に含む特徴を見つけることができればモデルを作りこむことなく上位がとれる可能性もある。Kagglekaggleに定期的に参加されている方だと以下を思い出す方も多いんじゃないでしょうか。データ漏れを見つけたとしてもそれがプライベートのリーダーボードで使用されるデータにも共通する性質か不明なので注意が必要。Kagglers(一週目)のメモ強化学習関係のMOOCs(オンライン講座)のメモ学会発表のスライドの準備・練習のための参考動画のメモ(OCW)機械学習の授業のめもその4月別アーカイブスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。