「情報と鉄道」「ユニバーサルデザインと鉄道」「社会と鉄道」がテーマのフォーラムです。(16歳以上対象)全角と半角、大文字と小文字が区別されます。真っ白のキャンバスに虹色の未来を描く方法、教えます。前編([3573])、中編([3574])からの続きです。★【CART法】回帰木(パーティション)とは前編([3573])で、もともと用意した「本質的」と思われる7変量(以下、「生の多変量データ」)のままk-meansしても、よくわからないクラスタリングしかできませんでしたが、中編([3574])で主成分分析することで、この7変量の相関関係を詳細かつ定量的に考察することが可能となることがわかりました。わたしたち(お客さまとしても、KY軒で新商品にゴーサインを出すひととしても)は、主成分分析を使って意思決定をしているわけではありません。その選択の背後には、「本質的」と考えられた7変量のような多変量データが潜んでいるのです。わたしたちはどうやって多変量データを簡単に扱っている(もしくは扱えたつもりになりながら実は大きく見落としている?)のでしょうか。同じ多変量データを、わたしたちの意思決定のしかたに近い分析方法で見ると、どうなるでしょうか。そこで「rpart」でございます。Excel」...ささっ。trees):再帰的な分割と回帰の木。以下、そのまま「rpart」と呼んでいきます。:うわぁ「数学C」とかで出てきそうなやつ!あくまでことばだけで理解する限りは、(対角化を用いない)prcomp関数にほうり込めば支障がないと読まれます。回帰式(紙や黒板に手で描けるやつ!)まで立ち返って説明されるとは思いもよりませんでしたっ!!(棒読み)※主成分分析ではなくPageRankだったかもですが、最初からSVDのアルゴリズムみたいなのを見せられてどやぁみたいな勉強をしたようなしなかったような(もう忘れかけているんですけど)ということから、行列を操作する意味は対角化だけど計算機ではいきなりSVDだよねという理解から始まっていました、ということをいっています。ナントイウコトデショー...「対角化」もないよっ。「R」において「データフレーム名」は必ずつけなければいけません(省略できません)が、「列名(ヘッダー)」と「要素の名前」は省略できます。ここでは、これを積極的に活かし、原則として「データフレーム名」のみを命名することにしましょう。「列」と「要素」が無名の場合、これらは▼数字で指定し、▼数字で表示されることになります。(初歩のチュートリアルとして)打鍵数を少しでも減らし、分析や処理の最中に変数名など見ないようにしよう!(テキストを見ながらタイプする文字列の、どれが関数名でどれがそうじゃないのか一目瞭然にしておこう!)...そのような目的で無名にすると、「rpart」を使う時に目的変数や説明変数をどう指定したらよいのかというところで戸惑うわけですが、そのまま「V1」とか「V2」とか書けばいいだけなんですよ。...その発想はなかった!(※列名などを積極的に無名にして扱おうという教科書はあまり見かけません。Trees):分類と回帰の木。URLに反してPDF内に書いてある日付はずいぶん新しいようですよ。trees」なんです。好き勝手に「決定木」などと決めつけて『呼びくだし!』たりしないことです。さあさあ手法を説明するために、手法の名前でなく『数学用語!』だけを使ひたまへよキミたち...エー!!(※教室にひびく絶叫はイメージです。さあさあ「エ」によじのぼって「ー」を使って高い木にひっかかったボールを取ってあげるのですよ。交差検証法を使用するCARTは小さなデータセットでも、2進木分析を行うことができるのです。データを使って最大樹木を成長させます。次に、このツリーを剪定します。今回の狙いおよびデータに対して過不足なさそうだとの感触を得てみます。(※あくまで感触です。CARTとステップワイズ・ロジスティック回帰分析あるいは判別分析を比べたとき、学習用サンプルに関してはCARTは遙かによい結論を導き出してくれます。CARTは十分に強力です。CARTはたった1日、2日で、専門家が何日もかかって構築したモデルの若干予測精度の劣る程度のモデルを、自動的に作り上げてくれるのですから。CARTは、すべての変数に関して可能な分岐をすべてチェックします。19の変数をもった215サンプルのデータセットで考えてみましょう。CARTは、最大で19変数×215サンプル=4085回の分岐を試みます。「たった1日、2日で」のありがたみがピンと来ないかもですが、これはたいへんなことですぞ!(棒読み)わたしたち、いまは7変数×18サンプルなので126回で済むということですが(※総当たりの「貪欲法!」だということですね)、仮に512変数の文書ベクトルみたいなので1000万件ほどの文書(※)があるみたいな...げふ...タイムカードを押してから次に押すまでという意味での「1日」で終わるとうれしいよね。「1日」って、妙に長いなぁ。(棒読み)※企業内文書のシソーラスを専門家が手作業でつくるくらいの規模をイメージしています。データセットの分析方針を決める前に、とにかくCARTを試してみて下さい。これは決して誇張ではありません。CARTは非常に有用な結果を導き出してくれるでしょう。日本語だけど英語で説得されているような気がするよ。あなたのゴルフボールがカップから1インチのところにある場合は、どのクラブを使おうが重要ではありません。何を使おうがボールは簡単にホールに入れられるでしょう。1インチは2.54cmです。...おっと、向かい風だっ。各々が異なるスタイルのツリーを育てるとともに、異なる哲学を表わしています。“対数的”な分布(所得の分布みたいな分布)を想定するならジニ係数。(※あくまで早合点です。)※「Twoing」は「はんぶんこ」みたいなのだという早合点のほうなど...えーっ。そもそも「2分木!」しようとしているので(分布の山を)「ハラキリ!」みたいに分けるんですけれども、そのときなるべくぴったりまん中で分けようと...そっちのほうが大きいよッ!!(※「はんぶんこ」でけんかするひとのイメージです。Twoing分岐ルールをを使った2回目は、相対誤差0.876で50ノードのツリーが成長しました。「回帰木」(「決定木」)ということばのイメージから、(分岐に意味のある限りぜんぶ)可視化するものだと(一般に)思いこまれているかもしれませんが、いいえ。このあとさらに活用していくためのデータとしての「木」なんです。いくらでも大きくなったり複雑になったりしてよいのですよ。(※蛇足ではございました。(カート)「CART」は「カート」と読むことがわかります。competitionで優勝した際に使用された主なツールで、また現在メジャーなWeb運用で使用されています。(CART)」(2008年)https://link.springer.com/chapter/10.1007/978-0-387-77501-2_3商用製品としての「CART®」は、GUI(や、大規模な実運用でのサポートつき)としてのソレがアレでナニ(略)げふ(さらに略)Rで「rpart」を使うことに法的問題はないんですよね。本当ですよねっ...だれに聞けばいいのかもわからないとはこのことだよ。(※Rのパッケージが「CART」と名乗ることは認められないという理解です。「商標を削除したCentOS!」みたいなものですよ...と理解していいんですよねっ。(※)Rの「rpart」を使って書いた論文に「これはCART法だ」と書いていいんですかっ。漢字1文字で木ーっ...すがすがしいとはこのことだよ。木を成長させると同時に、交差確認法の結果も計算する。その結果を返すことができる。木の深さの関係をグラフで示す。#最大木を作成(「複雑度」を扱いたいと思い立ったかたがググって「rpart」を見つけてやっほー的な意味で)rpartだけで「複雑度」を云々するのも心配になってきます(≒rpartという方法なので複雑になってしまうだけで多変量データとしてはこんなものだみたいなこともあるのではないかと疑う、の意。