Hatena1Pocket0RSSFeedly150【データ分析について話をしたい人の相手になります】データ収集の失敗を考えるとりあえず目についた面白い情報やなんとなく役に立ちそうなニュースを集めるだけならばともかく、まじめに考えてみるとデータ収集は簡単なようで難しい。そこでデータ収集の失敗(つまり自分が過去にやらかしたこと)についてその理由と、出来る限り対策について代表的であると思われるものをまとめた。データ収集が失敗する理由とその対策データ収集に時間をかけすぎて分析や施策の実行ができないデータ収集はデータ分析プロセスの一部であるので、データ収集したらそれで終わりではない。後のことを考えずにデータ収集に時間をかけすぎて分析や施策の実行に間に合わなかったのでは無意味であり、それはデータ収集の失敗であるというべきだ。回避するためには常にプロセス全体を頭に入れておくこと。余裕がなくて柔軟な対応ができない時間のかけすぎはもちろんであるが、収集が終わったと思ったら分析に入ってから「新しい視点が出てきた」とか「違う分析方法を試してみたい」などまた収集のフェーズ戻ってくることは頻繁にある。一度のデータ収集で終わることの方が珍しい。すると他の仕事とバッティングしたりすることになるが、別の作業を後回しにすることになるかそれが無理であれば追加の収集ができない。従って、最初から追加を見越した形でのスケジュールを考えておかなければならない。追加での作業が発生するとしたら「いつ頃に依頼があり」、「どのぐらいの作業量」で「いつまでに必要になるか」を予測するためには、やはり知識と経験が必要である。リソースをかけなさすぎデータ分析の意識が低いため、あまりにも収集に対してのリソースをかけない企業が多い。新入社員にニュースを集めさせて共有しているだけではろくな分析はできない。データ収集には人も時間も必要であり、特にその分野における知識と経験があるかどうかで質も効率も段違いになる。集めても使いきれない片っ端からデータ収集して使い切れないよりは、ほどほどで切り上げて分析や実行に回したほうが良いのは頭ではわかっていても、どれだけ集めても十分であることは無いためについ「まだ足りていないのではないか」とデータ収集を延々と続けてあとで後悔する。これはもう気持ちの問題なので対処は難しく、常に自分に問いかけるしかない。優先順位を間違える通常複数同時に動くデータ分析の中で優先順位が低い目的に対するデータ収集だったら集めても他の案件が優先されたり、最悪の場合そのデータが使われないこともある。これは明らかにコミュニケーション不足による失敗なので、優先順位の確認は常に共有しておくべき。人脈不足データ収集の基本は公開情報とはいえ、全ての情報が表に出るわけではない。違法であったりモラルに反するスパイ活動は行わないにしても、噂話や競合の動きなどは人を介して手に入れることも多い。なると人脈(ようするにコネ)が必要になるが、情報が欲しいと思ってからコネ作りに励んだところで遅すぎる。誰彼構わず広げる必要はないにしても、日ごろからのコミュニケーションによって近しい関係を作っておく必要がある。いうことは大まかな目標や業界のトレンドなどを掴んでおかなければ、誰に繋がっておくかを決めることも難しいということでもある。知らないことを知らない「知らないことを知っている」ならば探すことは出来るが「知らないことを知らない」では探すことすらできない。困った事に「知らないことを知らない」ことをその時に知ることは難しい。大分後になって経験を積んだ後に「あの時は知らなかったことを知らなかったのだ」と気づくことになる。出来る限り見聞を広め、知識を蓄えておくことしかできない。それでもすべてを回避することはできない。集めた情報が間違えているコストをかけて正しい方法で集めたデータだとしても、そもそもそれが間違いであれば徒労である。これは特に人を介している間に中身が入れ替わったり漏れたりすることが原因なので出来る限り一次ソースにあたるしかない。一次ソースそのものが間違いである場合はそれが間違いであることを見破ることのできる見識がないとそもそも間違いであることに気づけない。自分の意に沿っているからと内容を吟味せずに鵜呑みにした自分が正しいと思うから、あるいは結論が先にあってそれに合うからと自分の意に沿っている情報だけは鵜呑みにし、気に食わない情報は排除してしまう。自分の気に入る新聞やWebサイトからだけ情報を広い、反対意見を掲載していると見向きもしない。偏ったデータ収集は失敗である。情報が偏っていればこれでは分析が間違えるのも当然であり、データ収集において最もやってはいけないことだろう。デマやプロパガンダに引っかかって間違えた情報を掴まされるその時には気が付かずに後で分析が間違えていたので検証すると発覚したりする。情報発信者がどのように騙そうとするかの手口を理解しておけば騙される可能性は少なくなるだろう。データが壊れている様々な理由で手に入れたデータが壊れていて使えないことがある。これはデータの作られ方から相手のスキル不足まで様々な要因がある。定期的にデータを受け取る際に気を付けることやデータを受け取ったらチェックすることが参考になるだろう。データ収集の失敗にもっと注目をデータ収集は分析の土台であり、その土台がしっかりしていなければ確かな分析はできないのだから、データ収集に注目してざっくりと書いてみた。これらをすべて解決しようとすればやはり膨大なリソースが必要であり、そこにデータ分析の専門家の存在理由の1つがあるわけだが実務経験がない人にこれを理解させるのは相当に難しい。やってアピールするかという問題もまた考えねばならない。