2019.12.31今回は『Kaggleで勝つデータ分析の技術』の第3章、特徴量の作成についてです。第3章は中身が濃く、分量が多いので2回に分けて投稿します。Kaggleで勝つデータ分析の技術Kaggleなどのデータ分析コンペでは、実際のデータを扱うため、機械学習の解説書にはあまり載っていないような手法やテクニックが数多く活用されています。これらを理解し自身で使えるようにしておくことはコンペだけでなく、実務でのモデル構築において非常に役に立ちます。特徴量の作り方,バリデーション,パラメータチューニングなどについて,一般的な書籍ではあまり言及されない暗黙知やポイントについて記述しています。しなくてもそれなりに性能が出る(ただし、欠損値を埋めることで精度が向上することもあるし、相互作用情報を明示的に付与した方が、そういう情報をより反映させられる。特徴量は直接モデルの入力とするだけでなく、平均などの統計量をとって特徴量にすることもある(GBDTを使う場合でも有効)特徴量作りのイメージは、モデルに現在与えられている入力から読み取れない・読み取りづらい情報を追加で与える学習データとテストデータで、それぞれ別の変換を行うことは避けるべき→標準化で学習データのみを使うか、テストデータまで含めるかは思想の違いらしい。それぞれの特性がよほど違わない限り、どちらでも大きな差異は生じない。encodingの方がより有効であることが多いらしい。目的変数がリークしてしまう危険有り。過去10年間の学習データが使用可能だとしても、全期間の学習データを使うのは必ずしも最良の選択ではありません。10年前のデータは最新の傾向をモデル化するにあたり、役に立たないどころかノイズとなって悪影響を及ぼす場合もあります。時系列データの特徴量として、予測したいデータと、ある時点での時間差を特徴量にできる(例えば、住宅の価格の予測なら、築年数すなわち建築から何年経っているかなど)今まで標準化や欠損値補完なんかはやってましたが、こんなにちゃんと考えて特徴量を作ってなかったです。これからはちゃんとモデルの気持ちになって考えないといけませんね。紹介されている変数変換について、特に直近で使いたいものを手元でも実行し、描画してみて理解を深めました。GitHub.github.com外れ値は除去して対処してしまうことが多かったので、clippingは積極的に試していきたいです。【入門】Kaggle本でデータ分析の技術を勉強する【第3章】Part2『Kaggleで勝つデータ分析の技術』第3章の特徴量の作成について、前回の続きです。以下、第3章の備忘録(メモ、引用)になります。備忘録GBDTで効果的な変数の組み合わせについての著者の方の意見GBDT...engineeeer.com2020.01.01Kaggleで勝つデータ分析の技術Kaggleなどのデータ分析コンペでは、実際のデータを扱うため、機械学習の解説書にはあまり載っていないような手法やテクニックが数多く活用されています。これらを理解し自身で使えるようにしておくことはコンペだけでなく、実務でのモデル構築において非常に役に立ちます。特徴量の作り方,バリデーション,パラメータチューニングなどについて,一般的な書籍ではあまり言及されない暗黙知やポイントについて記述しています。研究所で働くエンジニアのブログ関連記事Python【Python】ネストされたリストをflattenする関数1段ネストされたlist(俗に二重リストと呼ばれるもの)をflattenする方法のメモです。今回は『Kaggleで勝つデータ分析の技術』の第4章、モデルの作成についてです。著者の方の分析コンペ用のクラスやフォルダの構成の紹介など、至れり尽せりの内容になっています。【Python】緑本こと『データ解析のための統計モデリング入門』を実装していく【第1章】ゴールデンウイークですね。長い休暇なので、私は兼ねてより興味があった「統計モデリング」に入門しようと思います。教材はかの有名な緑本こと久保先生の『データ解析のための統計モデリング入門』。連休中には終わらなさそうですが、実...Python【Python】1段ネストされたリストや辞書を要素やvalueに基づいてソートする1段ネストされたリスト(二重リスト)を内包されるリストの任意のインデックス(今回は1番目)に基づいてソートする方法のメモです。ための深層学習』を一通り読みました。難しくて理解できない箇所もありましたが、自然言語処理×ディープラーニングの話が網羅的に学べてよかったです。今回は『Kaggleで勝つデータ分析の技術』の第7章、アンサンブルについてです。最終章、なんとか冬休み中に辿り着くことが出来ました・・・。以下、第7章の備忘録(メモ、引用)と実装になります。コメントをキャンセルメールアドレスが公開されることはありません。*サイト次回のコメントで使用するためブラウザーに自分の名前、メールアドレス、サイトを保存する。上に表示された文字を入力してください。メーカーの研究所に入所。研究や開発に従事しており、普段はプログラミングをしたり論文を読んだりしています。ブログは趣味の学びのアウトプットです。本ブログが何かのお役に立ちましたら幸いです。研究所で働くエンジニアのブログ.。