AI〜データコンサル会社アイアナのブログ。統計学、Rを使ったデータ分析、Pythonを使ったAIなどこの広告は、90日以上更新していないブログに表示しています。「意思決定のためのデータマイニング」という以下の本から、データマイニングに関する8つの誤解についての抜粋です。見るよく質問されることも含まれてます。”誤解”なので、そうではないですよ、ということがタイトルになってます。事前の知識は必要ない⇒事前知識は必要データマイニングする際には分析対象のデータに関する事前知識は必要です。変数が表す意味や、どういう経緯でデータが入手されているかなど、業務知識は重要です。分析の専門家だけでなく、データに関する当該業務の専門家も必要です。経済的なリスクを評価する分析を行うときには、リスクを何に設定するのか、専門家が決定しなくてはなりません。統計学者は必要ない⇒統計家が必要データマイニングで一番時間がかかるのはデータプロセシングです。アルゴリズムのパラメータ、変数の型など。ソフトのボタンを押すだけでは良い分析はできません。データマイニングは思いもよらないことを発見する⇒(特に分析し始めは)当たり前の事が発見されることが多いデータマイニングで利用される変数は、(業務の)専門家に決めれられたものであることが多いです。そのためデータマイニングによって生成されたモデルは、思いもよらない、ということは少ないです。データマイニングでできることは、数千の変数の組み合わせから最も良い組み合わせを抜き出したり、それによってターゲティングルールを少し変更することで反応率が良くなる事もあります。データマイニングは全く新しい技術⇒昔ながらの技術も多いデータマイニングは古典的な分析も含みます。これまでの分析と違うのは、データサイズが大きい、性能が少し落ちても解釈しやすいモデルを使うなどの点ですが、データマイニングが全く新しいわけではありません。手に入る全てのデータを利用しなくてはならない⇒データを絞ることも重要データマイニングの結果は、変数が沢山あるほど改善すると思うかもしれないが、そう言う訳ではない。良いモデルができたとき、さらに改善させようとして変数を加えると、モデルの質や頑健性が悪くなることもあります。いつもサンプリングしなくてはならない⇒全数データを使うこともあるサンプリングするときは、元の集団のことを良く知っておかなくてはなりません。顧客特性が良く変わる分野ではサンプリングは控えるべきです。サンプリングデータの分布は、もとのデータの分布と一致している必要があるので、サンプリングによって稀なデータ(稀な現象や小さいセグメントの顧客)が無くなってはいけません。絶対にサンプリングしてはいけない⇒サンプリングすることもある予測モデルを作るとき、学習と検証のためにサンプリングが必要です。データが大きいときに、サンプリングすることで早くモデルを作ることができます。サンプリングデータで深い計算をすることで、良いモデルができることもあります。データマイニングのことを過度に期待せず、正しく効果的に利用しましょう、ということですね。”ビッグデータ”にも同じ事が言えるかと思います。読者になる@iisssseeiiiiをフォローデータコンサル会社のiAnalysis合同会社(アイアナ)で代表をしている倉橋一成(くらはしいっせい)です。東京大学で医療統計学の博士号を取得して、2011年に東大病院に務めながらアイアナを設立しました。含む約50社の企業にコンサルティングを行ってきました。統計学やデータサイエンス、AIなどを駆使して経営戦略や事業戦略に活かすためのデータ分析を行っています。クライアントはNTTドコモ。2014年からデータ分析部門(情報戦略室)にコンサルティングを行い、当時数十名だったグループが2019年には200人近くの組織(デジタルマーケティング推進部)となって自走しています。サル以外にはベンチャーやアート活動をしています。こちらのサイトでベンチャーやアート活動などの近況をアップしています。ツイッターはコンサル以外の趣味のつぶやきメイン。移行時約180万PVはてなブログをはじめよう!isseing333さんは、はてなブログを使っています。ブログを報告するスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。