データサイエンスどうもKoheiです。最近のHUNTER×HUNTER、いつにもましてルールが多すぎて難しくないですかさて、以前の記事で、データサイエンティストの仕事のプロセスについては下記のとおりになっていると書きました。結果のアウトプット今回はこのうち、4のデータ分析のプロセスについて、もう少し詳細に書きたいと思います。過去の記事はこちらでgo-mount.hatenablog.comどんな分析をすべきか?さて、分析してほしいデータを手に入れたあなたまずは何をしましょうか?そのままデータを読み込んでみようと思いましたが、データが大きすぎてすべては読み込めません。適当に数件ピックアップしてみてみます。中には、数十以上のカラムで構成され、様々な数値や項目が入っています。んーとりあえず、これを集計してみるか?何をキーに集計してみようか...?データをもらった人にもう一度聞いてみるか...?など、意外といろんな選択肢が出てきます。「データを分析する」という言葉が示す範囲は非常に広いです。自分が体験的にもこうした方がいいなぁ、と思ったものを紹介します。データ分析のプロセスこのプロセスは下記の文献*1を基にしていています。イメージはテキストでベタ書きされてるものをきちっと表形式に直すようなイメージです。learning/Algotichms)から予測や分類などを評価、AIとして利用するアウトプットも想定されます。ここで注目すべきは探索的データ分析から再びデータ加工へ戻っているフローもあることです。データを探索的に繰り返し調査していくことで、データの本質を把握し、より効果的な統計モデルの生成などに繋げることができます。この「探索的データ分析」についてもう少し掘り下げたいと思います。Tukeyさんによって提唱されていた方法です。簡単に言えば、「予想した仮説だけじゃなくて、データをいろんな側面で見てみようよ」っていう考え方です。データが膨大な量になる今、全量を把握することはほぼ不可能で、データの担当者がなんとなくこうだろうと思っていても、実際データを見てみると別の意外な発見があった・・・なんてことも珍しくありません。EDAを通じて、どんな変数が特徴を持つのか、外れ値や異常値の有無、適切なモデル・可視化方法の評価を進めます。EDAの具体的なアプローチは下記のとおりです。変数の見せ方を変えるこうした方法を重ねて、データの本質を見抜いていきます。EDAの際の注意点としては、EDAの時点ではまだ外れ値や欠損値が混在している可能性があるため、そうした外れ値に影響を受けにくい頑健な方法をとる必要があります。平均値などは特に、一個のとびぬけた値に影響を受けやすいので扱いは気を付ける必要があります。まとめさて、今回はデータ分析のプロセスについて書きました。このEDAのアプローチは、データ分析コンテストのkaggleでもよく見られる方法です。Web三層アーキテクチャとボトルネックについて理解しよう。ITコンサルタントのShoheiです。ACIについて1どうも、Keiです。-AmazonとGoogleの思想の違いどうも、ITコンサルタントのShoheiです。Air...2018-11-07LPIC(Linuc)て意味あるの?勉強法は?どうも、ITコンサルタントのShoheiです。古いMacをメルカリで...2018-10-06【社会人必見】エクセルを使う理由についてどうも、Keiです。(1)はてなブログをはじめよう!go-mountさんは、はてなブログを使っています。ブログを報告するスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。