here1冊の本に出会うことで、人生が大きく変わることがあります。良い品物に出会ったことで幸せになれることもあります。いっても、多様な商品があふれる中で、より価値の高いものを選び出すのは大変です。そこでこのブログでは、忙しいあなたの代わりに、史上最強の「良い本・良いくらし」の提案をさせていただきます。今回はその続きで、「階層的クラスタリング」の第2弾となります。Method)」をご紹介したいと思います。似ているものは同じグループに、似ていないものは違うグループに分けることをいいます。「グループ分け」することで、よくわからないものが、わりと分かりやすい感じになります。タイトルも目次もない、順序もバラバラの本の原稿用紙を大量に受け取っても、その中身が何なのか理解するのは大変だと思います。タイトルや目次がついていたり、文章の構成が前もって分かっていれば、中身の概要はつかめるはずです。この目次や文章の構成というのは、原稿用紙全体をグループ分けしているわけです。バラバラの内容もグルーピングすることで、中身が理解しやすくなります。テキストマイニングでのクラスター分析も、大量の文書の内容が、おおよそどんなものかをグループ分けすることで理解したり、また、どんなグループから構成されているかなど知りたいときにも役に立ちます。大量の文書をクラスター分析すると、その結果からたとえば、”政治”、”食べ物”、”コンピュータ”関係の内容の文書が含まれている、といったことがわかるかもしれません。食べ物のグループ内を細かく調べたければ、食べ物関係の文書のクラスター分析結果を注目すればいいわけです。すると、食べ物は食べ物でも、”パン”や”果物”についての内容が多く、ごはんや味噌・醤油に関係するものは少ない、といったように、さらに細かい内容を把握することができるわけです。(今回は非階層的なものは扱わず、今後の連載でご紹介する予定です)また、「階層的クラスタリング」には、以下の2つの考え方がありました。今回は、後者の1つである「完全連結法」についてご紹介します。クラスター分析の単結合法と同様に、シンプルで、他のクラスター分析の基礎となります。クラスタリングの考え方をサクッと理解してもらえたら後の理解も加速するかと思います。大きく3つのステップで行われます。1、データを素性ベクトルに変換する2、素性ベクトル同士の類似度を計算する3、類似度に基づいてクラスター分析する1、2は、前々回までに本連載で数回にわたって詳しく説明してきました。今回は、2で説明した距離行列から3のクラスター分析を行う部分をご紹介します^^データは、どう、グループ化するの?今回は、クラスター分析したいデータ全体をたくさんの文書の集合と考えることにします。クラスター分析のスタートは、すべての各文書1つ1つを1つのクラスター(グループ)とみなすところから始めてみます。今回のクラスター分析は、小さいクラスターをくっつけていって大きくしていくイメージになります。文書同士の類似度は、素性ベクトル同士の「類似度」で計算され、「距離行列」に保存されているとします。4つの文書のクラスター分析を考えてみましょう。0)のような下三角行列で表現されているとします。あれ、上半分に値がないじゃない!と思われた方もおられるかもしれませんが、距離行列は対称行列なので、上半分は下半分を対角項を軸に折り返した(転置した)値となっています。距離行列中の成分3.6は、2行1列の要素で、文書2と文書1の類似度を表現しています。他の要素も同じ意味です。これを踏まえて、まず最初にどの文書と文書をクラスターにしたらいいでしょうか?実はこの考え方の違いで、階層的クラスタリングにはいくつかのアルゴリズムがあるわけなんんです。その方法の違いによって、そのクラスタリングに適したデータとか適してないデータがあったりします。Method)」と呼ばれる方法を、初めて聞いた方でもわかるよう、できるだけわかりやすく説明したいと思います。完全連結法のアルゴリズムは、以下の感じです。1、距離行列の最小要素を探す2、その要素をもとに、距離行列を更新する3、新し距離行列で1、2を繰り返す4、すべての要素がどれかのグループに属したら終了といった感じでクラスタリングします。え?意味がわからない!?と思われたかもしれませんが、1つずつ説明しますので下を読んでみてください^^1、距離行列の要素をもとにグループ化する距離行列が以下のものだとします。0)最小要素は3.6で、これは2行1列の要素なので、文書2と文書1の類似度だとわかります。2、最小要素をもとに、距離行列を更新する最小要素が文書2と文書1の類似度なので、文書2と文書1を1つのクラスターにします。すると、この新しく作ったクラスターと、それ以外の文書(文書3と文書4)の距離がそれぞれ必要になります。文書1と文書3の距離の大きい方を採用します。「完全連結法」では、大きい方を採用します。5.7なので、大きい方の8.4を採用するわけです。6.5なので、大きい方の7.3を採用します。0)文書3と文書4の距離は変わらず9.1となっています。3、新しい距離行列で1、2を繰り返す1、2を繰り返します。最小の要素は7.3で、それは文書21と文書4の類似度になっています。これを新しいクラスター(文書214)と考えると、これと文書3との距離が必要になります。