toku研究室の日常7<決定木分析ってどんなもの?>私の所属する研究室では、2,3週に一度、修士以上の学生で集まって自主的なゼミが開催されています。(目的は、論文を書く時に使うデータ分析等の手法の勉強です)前回に引き続き、1月に行われたゼミの様子をご紹介します。決定木分析ゼミの進め方1.最初に一人が分析手法の概要を話す2.他メンバーが実際にその手法が使用された論文のレビューを行う0.決定木分析概要(担当:mo)決定木分析は、複数の要因と結果の関係性の中から影響の強い要因を階層別に把握する分析手法です。樹木状のモデルを用いて何らかの結果を記録したデータセットを分類することで、結果に影響を与えた要因を調べ、将来を予測します。決定を行う為のグラフであり、計画を立案して目標に到達するために用いられる。(出典:Wikipedia「決定木」)具体例としては、商品の購入意向からの適切な組み合わせの把握。この例では1万人の顧客を対象に分析してます。決定木分析の具体例(出典:市場調査・マーケティングリサーチ会社のマーシュ「デシジョンツリー分析(決定木分析)」)一番上の1万が5千ずつになって、下に行くほど少なくなっていくね。これはどうして、どのように減っていく?これはアンケートでしょうね。決定木分析のメリットとして、目的変数を変えることで回帰も可能で、この例だと分類ですね。購入意向が目的変数になっていて(アンケートの項目のうち、「購入意向」を目的変数に設定しその他の項目を条件(説明変数)とした)説明変数:何かの原因となっている変数。目的変数:説明変数の影響を受け生じた結果を表す変数。予測したい変数のこと商品について、味の独自性を期待する人のうち、購入したい人が7割?そうだとおもったんですけどね、僕は。決定木は、要因=属性をどのような順番で並べるかにより、複数つくることができ、どれも全てのパターンを正しく再現できる。この場合、オッカムの剃刀(可能な限り説明を簡潔に行うべし、という指針)に従い、木が最小サイズになるものを求める。複数の決定木(出典:北海道大学オープンコースウェア「決定木の学習」)木を全パターン作成するのは非効率的であるため一般に、「識別力」の高い属性(回答がよく偏る質問のこと。回答が全てYESかNOになれば、それ以上分岐を続ける必要はなくなるため。情報理論に基づき、識別力は数値化・比較ができる)を先にテストする。属性の識別力(出典:北海道大学オープンコースウェア「決定木の学習」)例えば図1で、これが、味の独自性はさして重視しない人が9000人で、重視する人が1000人だったらどうなるんですかね?これがあべこべだったらだったら9000に伸ばしていくんじゃ?そっちは購入したい割合が低いじゃないですかそれと、この今回の例は左側が途中で終わってますけど?続けてもいいよ、ただ購入意向が最大になるケースを調べてるから、望みのない方の分岐は打ち切ってる。決定木はシミュレーションだと思ってたけど必ずしもそうじゃないんやな実務ではシミュレーションで使ってるんじゃないですか?僕とtamuさんの選んだ論文はまさにシミュレーションですよね?交差検証と似たジャンルで、データが限られたときに結果を出す分析手法だと思ってた。過剰適合も、意味的には「このデータではちゃんとした内容でるんだけど、他の一般的なデータを入れた時、全然上手く機能しなくなる」。Number2(担当:tamu,toku)吉田による「戸建住宅団地に居住する高齢者を中心とした世帯の犯罪不安感の決定木分析」これ、調べた論文かぶったんですよね僕らの調べた論文も、まずχ二乗検定を使ってるな。「CHAID」って手法だけど。心配の決定木(CHAID版)枝切りですか少しバージョンが違いますね。心配の決定木(CART版)「CHAID」というのが、χ二乗検定。「CART」はジニ係数を使ってて、分岐していくルールが違うんやな。僕のが2008年で、tokuのが2009年発表。決定木分析の種類(出典:マーケティングリサーチのマクロミル「決定木分析」)一口に決定木分析と言っても、ツリー作成のアルゴリズムは様々なものがある。使用されるのは「CHAID」「CART」「C5.0」の3種類である。CHAIDは複数の分岐が可能。CRATは分岐が必ず2つになる分、シンブルなツリーになる。C5.0はCHAIDと同じく複数分岐が可能だが、目的変数が質的変数に限定される。コメントをキャンセルメールアドレスが公開されることはありません。コメントデータの処理方法の詳細はこちらをご覧ください。