AI〜データコンサル会社アイアナのブログ。統計学、Rを使ったデータ分析、Pythonを使ったAIなどこの広告は、90日以上更新していないブログに表示しています。Calendar2012)先日より、リクルート様のITエンジニアのための実務スキル評価サービス「CodeIQ」で、データサイエンティストに関する問題を出題させて頂いております(問題集はこちら)。先日12/12のおしゃスタ@リクルートでも少し解説しましたが、Rでの解答例をお見せする時間がなかったので、この機会にブログで公開します(おしゃスタに関するCodeIQ様のブログはこちら)。とある転職サイトから、「とりあえずデータがあるんだけど、、、」と言われてデータを受け取りました。先方は何をして欲しいかまだはっきりと決まってない様子。「応募した時間の記録データ(oubo_kiroku.csv)」の2種のCSVファイルです。幸いにもデータサイズはあまり大きくなく、Rで読み込める程度。Rで読み込んでどんなデータか把握してください。分析提案:もし応募数の予測モデルを作るとしたらあった方がよさそうな変数とその理由の3つを、この順番で書いて下さい。データサイエンティストによくある状況なんですが、「データがあるからとりあえず何かやってよ」と言われているパターンです。「仮説がはっきりしてないと分析できませんよ」と言いたくなる気持ちを抑えつつも、何か結果を出す必要があります。受け取ったときはデータの定義ファイルなんかもありません。データを読み込んで始めて分かる状況です。解答例としては、例えば以下のようになります。記録されているouboデータ:恐らく誰が・いつ応募したのか記録されている20代〜30代、大卒が中心に利用。離職中が在職中の約半分。とりいそぎ過去の応募数から次月の応募数を予測するモデルを作ってみたところ、単純な線形回帰モデルでR二乗が約0.33であった。ランダムフォレストも同じくらいの精度であった。次月の応募数のうち約3割が説明可能という解釈ができるが、プロットを確認すると応募数が多い外れ値に引きずられているようにも見える。詳細な分析を行うためには、属性データの詳細が必要。サイトのアクセス履歴も分析することで、ユーザーの行動特性が見つかるかもしれない(ただ、アクセス解析はRではなく専用ソフトが向いているかも)。将来の応募数を予測することで、営業支援や売上予測につなけることも可能である。そのためには現在のモデルより精度を上げなければならないため、新たな変数が必要であるし、モデルも吟味する必要がある。【解説】だいたいここまで分析時間と文章に起こす時間で、1〜2時間といったところです(エラーが出たりしたらもっとかかりますが)。ここまでは割とさくっとできるのですが、ここから先が大変です。仮説をヒアリングしたり、この結果を丁寧に説明したり。丁寧に説明しなくても分かる人が増えてくれれば良いんですがね。マッキンゼーが「データサイエンティストをマネジメントする人材が150万人足りなくなる」って言っているのはこのことだと感じてます(詳しくはこの記事など)。あと実務でこういう事をやろうとすると、データを作るまでに結構な時間がかかってしまったりします。分析に慣れている方がDBを操作していると、簡単に作ってくれたりすることもあります。出題した後に、結構レベルが高かったかな〜と思ったり。みなさんの回答を見れてないのですが、むしろこんな出題の仕方で回答してもらえて恐縮でした。初級の次に中級・上級を予定してたのですが、それは断念しました。その反省点を活かして、次の問題からは課題をはっきりとさせました。データサイエンティストで必要な学問知識のうち重要な「統計学」と「機械学習」に分けて出題しています。Codingして結果を出せるように、Rを使って回答してもらう、という形式にしています。以下問題と、私の解答例を紹介します。Rを使い、5人分の身長に関し、下記の6つの統計量を求めてください。下記のrnorm関数を使うと5人分の身長のデータを擬似生成できます。擬似生成データを使った以下の質問に答えてください。標準誤差(不偏分散を使う)の4つの統計量を計算してください。計算に使ったRのコードと計算結果を提出してください。)を計算してみてください。人数(データ件数)が増えたとき、この4つの関係性はどうなるか議論してください。DataScience_stat2.csvのデータは100万人分の身長を模擬的に作成したものです。この100万人分の身長データから、1000人分のデータをRを使ってサンプリングしてください。問1でランダムサンプリングしたデータを使って以下の値を求めてください。問2-3の信頼区間は、もとの100万人の集団の平均身長(真値)を推測するものです。サンプリングを無限に繰り返すと、理論的には95%の割合で信頼区間の範囲に真値が含まれます。ランダムサンプリングを10000回繰り返し、この事を確認してください。計算に使ったRのコードと簡単な説明を提出してください。※DataScience_stat2.csvは以下のRプログラムによって作成しています。Rを使い、DataScience_ML1.csvを読み込み以下の線形回帰モデルを作成してください。Rを使い、問1で作ったモデルに対して以下の回帰診断を行なってください。キャリブレーションプロット※DataScience_ML1.csvは以下のRプログラムによって作成しています。Rを使い、DataScience_ML1.csvを読み込み、以下のモデルを作成してください。結果変数はyとします。作ったモデルに対して予測診断を行うために、各モデルのキャリブレーションプロットとR二乗をチェックしてください。2以上が解答例になります。解説はまた今度の機会に行おうと思っています。CodeIQのサイトからデータのダウンロードはできなくなっていますが、統計学編と機械学習編は各自の環境でデータを作成できます。今回紹介した5問は分析では入り口ですが、これらができるだけでも実務ではとても役に立ちます。これくらい出来ていれば、他の手法も理解しやすくなると思います。おしゃスタでの発表資料でも問題の解説を少ししていますので、補助的に見て下さい。Kurahashi今後も分析力を身に着けてレベルアップしていけるように、問題をステップアップできればと思っています。最終的には私の修士論文とか博士論文のネタに辿り着ければな〜と思ったり(ここに置いてます)。それでは、今回の記事はこのへんで失礼致します。Calendar2012)Tweet広告を非表示にする関連記事2011-05-11観察データでの効果推定(傾向スコア、IPW、DR)まずは教科書を紹介します。analysis)について教科書はこちら。model)について混合効果モデルについてです。読者になる@iisssseeiiiiをフォローデータコンサル会社のiAnalysis合同会社(アイアナ)で代表をしている倉橋一成(くらはしいっせい)です。東京大学で医療統計学の博士号を取得して、2011年に東大病院に務めながらアイアナを設立しました。含む約50社の企業にコンサルティングを行ってきました。統計学やデータサイエンス、AIなどを駆使して経営戦略や事業戦略に活かすためのデータ分析を行っています。クライアントはNTTドコモ。2014年からデータ分析部門(情報戦略室)にコンサルティングを行い、当時数十名だったグループが2019年には200人近くの組織(デジタルマーケティング推進部)となって自走しています。サル以外にはベンチャーやアート活動をしています。こちらのサイトでベンチャーやアート活動などの近況をアップしています。ツイッターはコンサル以外の趣味のつぶやきメイン。移行時約180万PVはてなブログをはじめよう!isseing333さんは、はてなブログを使っています。ブログを報告するスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。