第54話|データ活用で忘れてはいけないこと。お問合せ第54話|データ活用で忘れてはいけないこと。777今週の小ばなしTweet今はビッグデータの時代と言われ、そのデータをどうにか活用しようと、大企業とベンチャー企業を中心に、しのぎを削っています。非常に面白い構図です。日本社会の場合、世界で戦っているような超有名な製造業やIT企業と、ここ10年ぐらいに創業したAI(人工知能)・機械学習・データ分析系のベンチャー企業が躍動しています。世界的な傾向なのかもしれません。その中で、置いてけぼり感のあるのは、そこそこの社歴のある中堅・中小企業でしょう。面白いのは、「小さい企業≒大企業の下請け」という構図が、このビッグデータという社会では、それほど当てはまらないということ。AI・機械学習・データ分析系のベンチャー企業には、古くからある大企業にはないものを持っているからです。実際は、ベンチャー企業というよりも、その創業者や経営陣が、古くからある大企業にはないものを持っています。大企業からは多くの場合、的確な指示を出すことができません。大企業主導でやるならば、そういう人を他社から引き抜き社内に抱え込むか、ベンチャー企業そのものを買収した方がよいでしょう。それぐらい、思考回路が異なります。それはさておき、どんなに順調にビッグデータ活用プロジェクトが社内で進んでも、最後にちょっとしたカベが待ち構えています。このカベは、昔からあるカベで、私がデータ分析の世界に入った約20年前からもありました。そのカベとは、「洞察力」のカベです。私は20代のころ国家機関にいましたが、このカベはすでにありました。比較的、IT環境や予算に恵まれ、データもたくさんありましたが、このカベが立ちはだかっていました。このカベは、日本だけのカベではありません。米国でも同じようでした。そのカベにうまく対処しないと、事実誤認を招き大変なことになります。当然ですが、データはこの世の中すべてをカバーしていません。朝家を出て会社に行くまでのデータが記録されることは稀です。移動経路だけであれば携帯電話のGPSなどを活用して記録されるかもしれません。車の運転手が何を考えていたのとか、......そのようなこと全てを、記録することは少ないでしょう。要するに、データはどんなに集めても、所詮何かの一部分を抜き出したものに過ぎず、抜き出せなかった部分は、データとして記録されず分からないということです。データは手掛かりデータは、手掛かりに過ぎません。データのとして残されていいない見えないところは、データという手掛かりを通して洞察する必要があります。洞察するのは、もちろん人間です。最近のECサイト(Amazonなど)は、商品をレコメンドしてくれます。そのレコメンドに応じて、実際に商品を買ってしまった人も多いのではないでしょうか。レコメンドされた商品をすべてを購入した人は少ないでしょう。少なくとも、私はそのような人を見たことがありません。最後は人が買うか買わないかを決めています。何を言いたいかというと、商品のレコメンドは、そのECサイトの購買データなどの蓄積されたデータから導き出したものです。購買以外のデータは、ほとんど使っていません。使えるとしても、属性データ(性別や年代など)ぐらいでしょう。購買行動した人間の、極一部のデータを使ったにすぎません。ECサイトではなく、営業パーソンがこのレコメンド情報を持っていれば、どうなるでしょうか。人によっては何も考えず、レコメンド情報通りに営業するかもしません。多くの営業パーソンは、自分自身の頭の中にある情報とコンピュータがはじき出したレコメンド情報を掛け合わせて、レコメンドされた商品を顧客に勧めたり勧めなかったりします。営業パーソンは、顧客にレコメンド商品を勧めるという決断をするために......顧客は本当に欲しいのだろうか?今が勧めるタイミングなのだろうか?いくらぐらいであれば購入してくれるだろうか?......などと考えると思います。データとして蓄積されていない情報、つまり、自分自身の頭の中にある情報などを使って判断し決断しています。データには誤差があるそもそもデータには誤差があります。......などです。測定誤差とは、測定するときに生じる誤差で、例えばGPSの位置情報のズレなどです。計算誤差とは、コンピュータ内の処理で生じる誤差で、端数処理の際の丸め誤差などです。系統誤差とは、同じように測定している限り生じる誤差で、原因に対処すれば取り除ける誤差です。統計誤差とは、データ全体の一部をサンプリングする際に生じる誤差です。誤差とは、データを測定するたびにランダムに生じる誤差です。他にも、色々な誤差があるかもしれません。要するに、データそのものも絶対的なものではなく、何かしら誤差が混じっています。この誤差を乗り越えるためには、人による洞察がものをいいます。最後は洞察力がものをいうデータは世界の極一部を記録したものに過ぎず、しかも誤差が混じっています。考えると、データ活用やAI(人工知能)化は夢のまた夢な気がします。それを突破するのに必要になるのが、人間の「洞察力」です。このIT化の時代、ITシステムだけでも人間だけでも成り立たず、ITシステムと人間が支援しあう関係にあります。AI(人工知能)化だの機械学習化だの言っても、メンテンナンスやチューニングをするのは人間です。人間が支援しています。AI(人工知能)のレコメンドやITシステムの計算結果を信じる信じないを決めるのも人間ですし、最後の決断を下すのも人間です。多くの単純作業や単純な思考は機械やAIに取って代わられるかもしれません。現在のAI(人工知能)の最大の弱点は、データ化されていないことは考慮できない、ということにです。データ化されていたとしても、データソースが異なり、全く無関係に見えるデータを結びつけたり、そこから面白いことを発想することは苦手です。現在のAI(人工知能)には、インスピレーションを生み出せないからです。したら、インスピレーションと搭載したAI(人工知能)が実現するかもしれませんが、この世すべてをデータ化することは、しばらくは無理でしょう。装着していて違和感のない脳や心理、身体情報などを計測するIoTデバイスが完成し、すべての人間や動物などに埋め込まれデータ化されれば別ですが。要するに、しばらくは、最後は洞察力がものをいいます。今ほどITに恵まれていない約20年前から同様の問題がありました。逆に、すぐれた洞察力さえあれば、IT化が貧弱でもどうにかなります。今回のまとめ今回は、「データ活用で忘れてはいけないこと。それは最後は洞察力がものをいうということ」というお話しをしました。AI(人工知能)化がどんに進んでも、しばらくは洞察力は人間が担う必要がありそうです。現在のAI(人工知能)には、データ化されていないことは考慮できない、という弱点があるからです。そのデータ化されていないことも含めて世の中を見る力が洞察力です。そもそも、データは、人間の洞察力を高めるのに有用です。見当のつかなかったことが、データによって見通しが良くなることがあります。洞察力をサポートしてくれる存在です。人間の体力を酷使する肉体労働の時代から、人間の頭脳を酷使する知的労働の時代へと、これからは益々突き進みそうです。ビッグデータの時代は、データを絡めた高度な知的労働(洞察力)の時代だと思います。いうこともあり、今の小学生から高校生にかけて学校で、統計学・データ分析教育がなされているのだと思います。小学生6生向けの教科書やドリルを、一度眺めてみることをお勧めします。それなりに頭を使います。以下は、「ちびむすドリル」というサイトに掲載されている、小学生6年生向けの統計学習の問題です。今週の小ばなし第62話|データ分析活用は、OODAループで上手くいくかもしれない。第53話|ビジネス系のデータって、時系列が多い。