いっきのblogスマートフォン用の表示で見るいっきのblog技術とか色々この広告は、90日以上更新していないブログに表示しています。2018-08-03TF-IDFを自力実装してみる前回ライブラリーを使って実装しようとして断念した「TF-IDF」について自力で実装したいと思う。kzkohashi.hatenablog.comちなみに上記の記事は、TF値の出し方が間違ってて理解不足だった・・。一度実装するとしないでは理解度が変わるという教訓。いや計算式の理解の問題か・・。(修正済み)TF値を求めるまずは数式の確認からすると、以下のようになる。)をもとめると以下のようになる。dict_words_freq[key]/all_words_count)無事できた。0.010714285714285714省略IDF値を求めるまずは数式の確認からすると、以下のようになる。元となる文章は以前使った、Wikipediaのデータを元にする。量が多くて重いため(2400万行)、100万行ほどのデータのみを使うこととする。kzkohashi.hatenablog.comまずは、100万行のみのデータにする。wiki_wakati_neo_head.txtこのままだと全ての文章が同じファイルにあるので、文章ごとに分割する。>」が区切りっぽいのでそれで分割する。次の処理で使うので、リストの中の文字をユニークのリストに返してつかう関数を用意。unique_listIDF値を求める。4.343764024527529自分のブログ内の文書をみると、「た」などの助動詞より、「サービス」や「自分」などよく使われてなさそうな値が高いことがわかる。0.03853413038011895....あれ、、想定では、助動詞とかはよく出るからもっと低いはずが・・・100万行じゃちょっと少なかったのかもしれない。0.02418713487438621綺麗になった。今回調べたブログ内の言葉では、「サービス」がぶっちぎりで重要な言葉として抽出されていることがわかる。「エンジニア」や「視点」、「セールス」など自分が考えてそうな言葉が出てくるので納得感はある。IDF値は「+1」の部分でチューニングができるっぽいので、もう少しやってみたい感はあるが次回の理解した時にする。終わりにライブラリに頼らず(一部頼ったけど)、自前で実装するのは勉強になったし面白かった。文章内の言葉から重要なキーワードを抽出するTF-IDF値は色々なところで使えそうだし、うちのサービスでも次使う予定なので次は実践しながら深掘りしていきたい。07:10TF-IDFを自力実装してみるTweet広告を非表示にする関連記事2019-06-19GoroutineとChannelについて学ぶ前回Goのインタフェースについて書いた。(1)はてなブログをはじめよう!kzkohashiさんは、はてなブログを使っています。ブログを報告するスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。