俵言スマートフォン用の表示で見る俵言しがない社会人が書く、勉強とかのこと。やってみたらどうやって正規化してるのかわからなかったから調べたって話です。細かいことなのですが、同じことに苦しむ人がもしかしたらいるかもってことで記事にすることにしました。なんかも手軽に計算できる便利なツールです。これ2008年からあるらしいんですけど知らなかった...これの存在知ってたら僕の卒論の実装もっと楽になった気がする(--;)まあ過去の話はさておき、このライブラリを試してみるべくまずはtfidfの計算をしようとしたわけです。除去とかも触れられてるけどここでは省略します。化する必要があります。出現回数)のタプルのリストの形式に直すことを指します。言葉だと分かりにくいので実際にコードを示します。以下の四つのドキュメントを考えます。何のセンスも無いテキストですが、この方が後々見やすいので許してください。a",]これらをまず単語ごとに区切ります。英語だと楽ですけど日本語だとMeCabとかで形態素解析する必要アリ。してくれる便利なライブラリです。次にこれらから辞書を作成します。具体的には、単語にidを振って管理しやすくします。1}ここでは以下のように対応づいてますね。(なんでcが1なのか不思議。corpus化します。タプルのリストになっています。化)がとっても楽です。生成する先ほど作ったcorpusでtfidfモデルを作ります。tfidfモデルって言葉になんか違和感覚えますが。やってtfidf値を出しているのかそもそもtfidfって計算方法がいくつかあります。以下のように計算されます。ドキュメントの総数また気をつける点として、計算は以下の手順で行われます。値を決定するってことです。値には寄与しないみたいですね。1)]]ここでは一番上のドキュメントだけやってみましょう。値がさっき計算したものと等しいことが確認できます。原因を探すまあよく分からないときはググるわけですが、どうも日本語の記事だとこのことに触れてない。大体の記事は「tfidfはこんな感じで計算できます。LDA)行きましょう!」みたいな感じなんですよね。(だから記事を書くことにしたのですが。)で、そんななかこんな記事を見つけます。いつもお世話になってるstackoverflowです。書いてあるっていうんですよね。公式ページがヒットします。l2って書いてありました。L2ノルム(別名ユークリッドノルム)による正規化です。単位長さになるようにってことみたいで、もうちょっというと指定したノルムが1になるようにってことなんですね。値のノルムを計算して、それで個々の要素を割ることで正規化しています。記事の二番目の回答者が考察から当ててました。1)])で計算してみます。他にも、Tutorialの下の方にこんな記述があったり。length.ただこれがわかったのは多分L2ノルムでの正規化だってはっきり分かった後だからであって、最初に見てたとしても結局調べてたと思います。微妙に違う値でぱっと見よくわからない)。それっぽい記述が出てきてもぼかして書かれてて、最終的にデフォルトのパラメータから発覚するっていう。使わずに済むようになったので良しとします。トピック解析とかもしていくつもりです。結局いつもどおり長々と書いちゃいましたが、以上で終わりです。言葉をタイトルに入れておいたので、同じことを疑問に思った人がこの記事を見つけて役立ててくれれば幸いです。"単位ベクトル化"って読めばすごく自然なことなのでは」って言われて確かにその通りだと思いました。みんなそう読めているのだとすれば、この記事を書いた僕はただの馬鹿ですね、うん。俵言は、Amazon.co.jpを宣伝しリンクすることによってサイトが紹介料を獲得できる手段を提供することを目的に設定されたアフィリエイト宣伝プログラムである、Amazonアソシエイト・プログラムの参加者です。はてなブログをはじめよう!Tawaraさんは、はてなブログを使っています。ブログを報告するスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。