-スマートフォン用の表示で見る2019-11-26■こんにちは!Onplanetzです.今回titanicのtrainデータをもとに性別や年齢など、どんな要素が生存率に影響を与えていたのか分析してみました。forest、lightGBMを使用して実装しました。初めに、データの前処理を行いました。Train,test両データとも年齢、運賃に欠損値があったため欠損値を中央値で補完しました。5つのデータのみを反映させていました。正答率が上がらなかったため反映させるデータの数を増やすことにしました。名前とsibsp,parchにも反映させました。元のデータのまま反映させてもさほど意味がないと感じたため、名前は敬称ごとに分類しSibspとparchを組み合わせることで一緒に乗船した家族の数や一人で乗っているかどうかを知ることができます。元のデータデータの前処理・整形はこれで終わります。次にモデルの適合とパラメータの調整を行いました。ligthtGBMを使用しました。行い、グリッドサーチを使いパラメーターの最適な値を探索しました。こちらで使用したデータはlightGBMで使用した5のデータと前処理の段階で成形した家族のサイズと名前の敬称の7個のデータを使用して実装に当たりました。こちらもグリッドサーチを使いパラメーターの調整を行い、lightGBMで使用したトレーニングデータとそこで得たテストデータの結果をトレーニングデータとして使用することでトレーニングの数を増やして実装してみたところkaggleのスコアで78.9まで上がることができました。この方法は過学習になる可能性も秘めているので必ずしも良い結果になるとは言えませんが今回はうまくいきました。グリッドサーチによるパラメータチューニング今回のタイタニックの予測を通して前処理・データの整形が非常に大切なものであると実感しました。使用するデータの選択やパラメーターの調整などによって大きく結果も変り何回も試行錯誤しながら根気強くやっていかなければいけないなと感じました。今...ハイパラチューニングの勉強会を開催しました!Onplanetzの技術ブログ、始めました。リンクはてなブログブログをはじめる週刊はてなブログはてなブログPro月別アーカイブスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。