kaggleでタイタニック号の生存者予測という記事を書いて、機械学習を簡単に体験したのですが、今回は前回も扱った「タイタニック号の生存者予測」についてスコアアップを目指し、データの選定やアルゴリズム等を洗練していこうと思います。必要ないカラムを削除するテストデータに対して同様の処理を行う機械学習させるkaggleでスコアを確認するまとめデータの確認もう一度トレーニングデータの項目をおさらいしておきましょう。出港地(タイタニックへ乗った港。Southamptonらしい。ついてのみ欠損値の補完をしてみましたが、今回はデータの欠損具合をみても「Cabin(客室番号)」についても無視できないと思うのでそれについても考えていきます。以下、データの欠損具合をもう一度載せておきます。0.000000トレーニングデータ、テストデータ共に決して無視できない「Age」「Cabin」そして欠損数の少ない「Embarked」「Fare」についても追って見て行くことにしましょう。タイタニック号についての簡単な予備知識タイタニック号に関しての簡単な予備知識も持っておくと良いと思い、調べてみました。概要タイタニック号沈没事故(タイタニックごうちんぼつじこ)とは、1912年4月14日の夜から4月15日の朝にかけて、イギリス・サウサンプトンからアメリカ合衆国・ニューヨーク行きの処女航海中の4日目に、北大西洋で起きた。当時世界最大の客船であったタイタニックは、1912年4月14日の23時40分(事故現場時間)に氷山に衝突した時には2,224人を乗せていた。事故が起きてから2時間40分後の翌4月15日の2時20分に沈没し、1,513人が亡くなった。これは1912年当時、海難事故の最大死者数であった。重要そうな項目としては・23:40に事故が発生(当時睡眠していた人の割合が多そう)、外は暗闇(だったと思われる)。・2224人が乗船し、2時間20分の間に1513人が亡くなったこのくらいでしょうか。航路はこのようになります。機械学習における欠損値の補完は非常に重要なフェーズです(よね?笑)。ここでどのように欠損値を補完するかによってスコアも大幅に変化します。欠損値以外のデータも他のデータに影響を与える可能性もあることから、なるべく多くのデータを可視化して分析します。データを瞬時に把握するのにグラフ等で可視化するのは非常に有効な方法です。Ageについてでは年齢について考えていきましょう。前回は単純に中央値として補完しましたが、これが正解とは限りません。ダウンロードしたCSVデータからExelに落とし込んでデータを分析します。それぞれのデータの代表値を簡単にまとめてみます。平均値29.6991176最頻値28中央値28平均値と中央値、最頻値ともにそれほど差が無いので中央値で欠損値を補完するのは良い選択であると思われますが、別の観点から視覚化(グラフ化)していきましょう。10歳間隔で設定した棒グラフ10歳間隔で、そのレンジに入る層とその人数の関係を可視化したグラフです。この間隔をもう少し狭くしてみます。多い階級は21~25歳の範囲です。ここで、欠損値を28-29で補完して良いのか?という疑問が生まれます。