Integrationこの広告は、90日以上更新していないブログに表示しています。各テキストから単語を抽出し、各単語の出現頻度を元に、各テキストの特徴ベクトルを生成した。このとき、例えば"愛"と"あい"という単語は同一のものとして扱われたが、"愛"と"恋"という単語はまったく別のものとして扱われた。この結果、テキスト間の距離が人間が感じる距離と異なる場合が出てきた。そこで、本稿では、同じ概念の単語をひとまとめにして特徴ベクトルを作成することで、概念レベルでのテキストのクラスタリングを目指す。手法クラスタリングの手順は以下のとおり。手順2以外については、以前の記事とほぼ同様なので、ここでは詳細は割愛する。Rで複数のテキストファイルからtf*idf行列を作成し、テキストファイルに出力する。tf*idf行列の書かれたテキストファイルを、PythonとWordNetを用いて変換し、テキストファイルに出力する。Rで修正されたtf*idf行列を読込み、クラスタリングを行う。手順2では、単語ベースのtf*idf行列を、概念ベースのtf*idf行列に変換する。同じ概念の単語をひとまとめにするために、WordNetを用いる。WordNetとは、単語がその意味でグルーピングされ、それらグループの関係性が記述された、概念辞書である。することが許可されている。Ruby等のフロントエンドも用意されている。今回は、Pythonを用いてWordNetを扱う。(このせいで文字コードに大変苦労させられたわけだが...。WordNet-0.9が必要。Pythonのスクリプトは以下のように書ける。急にRMeCabのdocMatrix()が使えなくなった。(1)検索はてなブログをはじめよう!tkdmahさんは、はてなブログを使っています。ブログを報告するスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。