CompetitionのKernelからデータの探り方を学ぶ(2019-04-08)Kaggleの家の売値を予測するCompetitionのKernelからデータの探り方を学ぶ。予測する値であるSalePriceの分布を出すと、やや左に寄った非対称の分布をしている。プロットしても直線で表されている正規分布から外れていることが分かるが、正規分布であることが望ましい。plot=plt)そこで対数をとって正規分布に近づけてやる。transformationのλ=0のときにあたる。欠損(NA)率を多い順にならべてみると次のようにいくつかはほとんど欠損していることが分かる。0.055479パラメータ間の相関まず各パラメータ間の相関を見てみる。実際OverallQualとSalePriceの相関係数を出すと0.79とかなり高い。箱ひげ図で見ても分かりやすい。取り除いてやったり、ほとんど欠損してない場合は欠損しているレコードだけ取り除くこともできるが、取り除き過ぎると精度が上がらない。そこでなるべく自然な、連続値であれば中央値や0といった値を埋めて使いたい。ドメイン知識が必要になるところだと思う。df["PoolQC"].fillna("None")外れ値X軸をGrLivArea、Y軸をSalePriceとしてPlotすると右下2点が外れ値になっていることが分かる。ylim=(0,800000));これらに引っ張られないように除去してやる。ylim=(0,800000));。