toku研究室の日常6<アソシエーション分析ってどんなもの?>私の所属する研究室では、2,3週に一度、修士以上の学生で集まって自主的なゼミが開催されています。(目的は、論文を書く時に使うデータ分析等の手法の勉強です)前回に引き続き、1月に行われたゼミの様子をご紹介します。アソシエーション分析ゼミの進め方1.最初に一人が分析手法の概要を話す2.他メンバーが実際にその手法が使用された論文のレビューを行う0.アソシエーション分析概要(担当:toku)次はアソシエーション分析ですね。(これをアソシエーション・ルールと呼ぶ)マーケティングの分野で大活躍してる分析で、ビッグデータの扱いを得意としていますアソシエーション分析:相関(英語ではcorrelation)ではなく、「商品Aを買っている人の65%が商品Bも買っている」という関連(英語ではassociation)を分析する手法。データマイニングの代表的手法であり、ビッグデータの活用に有効。sales)データの分析のために開発された手法で、別名「マーケットバスケット分析」データ分析で扱うデータは、本来は表2のように項目ごとに整理された状態が望ましいんですけど、こうしたデータは容量が膨大になりやすい難点があります。アソシエーション分析、[online]http://bdm.change-jp.com/?p=1341)店舗とかに残っているデータは、大抵は整理されてない状態、例えるなら「大量のレシートがごちゃごちゃになっている状態」になっている。アソシエーション分析は、ここから有意なデータを得るにはどうすればいいか、ということで考えられた手法です。アソシエーション分析の結果の例(出典:同上)得られる結果は、商品の組み合わせ(アソシエーション・ルール)に対する3つの指標(支持度、確信度、リフト値)となります3つの指標の意味がわかりずらいのですが、この説明がわかりやすく噛み砕いてくれてます。AもBも独立の理由で売れているのではないか、という疑問に答えるものです本来は統計の知識が必要な手法ですが、僕らだとデータ分析用のツールを使うのが現実的かと。簡単なものなら、エクセルでも可能ですAとBって、Aのほうが母数が多いときがAになる?多分なんでもいいです、優先して分析対象にはなるでしょうけど、両方調べることもあると思いますBからAってこと?うん、AとBに相関があっても、AがメインかBがメインなのかは別じゃん相関分析の後でやるってこと?いや、相関分析ができない時に行う分析。アマゾンくらい商品が多かったらとてもマトリックスデータなんで作れないし。この表2のマトリックスデータは3列しかないけれど、アマゾンなら万とか億になっちゃうから相関分析が出来るときはそっちを優先する?大事なことは相関と関連が全然違う概念だってことでしょ?相関と関連はどう違うの?主な違いとして、相関分析の場合は「数理的データ」だけども、トランザクション形式データは四則演算もできないから、優位なデータを得るために全く違うアプローチをとっているという話。多変数の相関とはどう違う?関連、相関、因果の順で厳しい?いや、別カテゴリーだと思います。そもそもアプローチが全く異なるわけで。仮定として、トランザクションデータをわざわざマトリックスにして、相関係数を出すことも理論上できるし、そうすれば高い確率で相関関係もあるだろうけども。Number1(担当:mo)「条件付きアソシエーション分析による購入の特徴抽出」(外部サイト)ですまずRFM分析という手法で顧客を分類したと。FM分析ってなんですかね?アソシエーション分析は、俺の論文もそうだけど、誰かが提唱してる特殊なアソシエーション分析を使ってて。“Monetary”、FM分析のFMは”Female”と”Male”の意味やな。F3となると、オールドレディ的な(1:20~34歳、2:35~49歳、3:50歳~)RFMとFMを同時に使ってて、それぞれのFとMが混在してるから凄く読みづらいな...FM分析は3が最大だから、F5というのはRFM分析ですね大文字小文字でわけるとか、してほしかった。Number3(担当:tamu)「国内酒類市場におけるクラフトビールの特徴-スキャナパネルデータによる市場での位置づけならびに購入者属性の分析-」(外部サイト)moと同じく、マーケティングの論文ですマーケティングの分析手法ですからね、yuさんのような例の方が珍しい酒屋の人に協力してもらってクラフトビールを買う人の傾向を調べている論文です。酒の種類がどんなのがあるのかを分析してこのクラスター分析というのは?クラスター分析は、クラフトビールがどれに近いかを分類してて、輸入ビールに近いと分析してる。その後で購入者の複数の属性でアソシエーション分析をしてる。それを端的に示したのが、図5と、表2表3かな。結局、結論は「クラフトビールは独立したカテゴリーになってる」、なのね要するに、表1を見る限り、輸入ビールやウイスキーを買う人はクラフトビールも買ってるということですよねいや、そもそも数値が高くないんやな。「独立し」てると大したこと言ってるわけじゃないからな、酒買ってる人がどういう人かってだけだから購入者世帯の特徴を2章の3)以降で調べてるじゃないですか。これはどういう手法ですか?フィッシャーの正確確立検定という手法らしいけれど、これはまた別の分析方法。前半のアソシエーションルールのときは、Jaccard(ヤッカード)係数とAprioriアルゴリズムを使ってるけど、これは多分、アソシエーション分析に関連する概念やなJaccard係数:2つの集合の類似度を表す1つの数値表現。コメントをキャンセルメールアドレスが公開されることはありません。コメントデータの処理方法の詳細はこちらをご覧ください。