Science2019.5.24ツイートTopicsGBDTおわりにこんにちは。手を動かして実装・実験することでアルゴリズムを理解することを目指します。学習を逐次的に行い強学習器に導くアルゴリズムを指します。損失関数の勾配を用いたブースティングで弱学習器に決定木を用います。実装には以下があります。XGBoostLightGBMCatBoostscikit-learnデータ最初に実験で使うデータを準備します。乗せた1000行1列のデータを生成し、訓練:テスト=8:2で分割します。曲線フィッティングを行い比較します。構成する弱学習器である決定木あるいは回帰木は、情報利得が最大となる特徴でデータを再帰的に分割するアルゴリズムです。通常は二分決定木となります。