先に見つけていたので、まあいっか、と。工夫したところはとくになく、クラスで扱うようにした、チョットテスト書いたくらいで、ほぼそのまま移してきた。Medium、はてなブログあたりで試してみたところで、おおよそうまくいっているように見えたので、たぶん大丈夫。タグがあってーとか、そいういう)ではうまく取り出せず、スコアが高くなったほうのみ抽出されてしまう。本文しきい値のようなものを設けてそれを超えていたら、結合して出す、とかしないといけないなあと思う。いえ、正確に本文が欲しいのか、その記事中の重要な部分にフォーカスするのか、などなど要件にもよるので、とりあえずはいいんじゃないかなの気持ち。よる実装もいたのだが、おそらく上記のようなところで、元々のものには無いオプションが増えていたりでチョットわからなかったので、一から書いた次第。つのライブラリが出てくる。紹介するとこんな感じ。含めて、これらの比較は次の記事でやりたい。自然言語処理この記事は公開されてから1年以上経過しており、情報が古い可能性があります。文章における、単語の重みづけを行うもの。処理した文章中のうち、ある単語はどの程度重要なものか、出現度合いから重み付けを計算する。プログラム、機械からは文章の分析っていってもよくわからないので、そのよくわからない特徴をわかるようにするための、数値化する方法の1つ。複数の文章を入力する必要がある。文章1つずつの単語の出現頻度がわかる。横断的に使われる単語は低い値になる。簡単な文章を入れつつ実際の数字を計算してみる。0.65この結果からわかることとして。「リンゴ」は横断的に出現するので値が低くなる。「レモン」は文章1だけに多く使われるので値に特徴が強く出る。「ミカン」は文章2だけに使われているが、リンゴと同程度しか使われていないので、特徴が大きく出るわけではない。様子を見ればよいらしい。いうことで、確かに単語の重要度がわかるよ、っていうのはあっているらしい。全ての文章・全ての単語を利用するという計算ロジックの都合、文章を逐次増やして差分計算していくー、というのは出来なさそうなので、そういう用途はむりそうだなー。結果に加えて「バナナとレモン」を追加したときに困っちゃうね、という話。この量なら良いけど、もっと文章量が増えてもっと単語量が増えると、毎回計算し直すコストがかかる。自然言語処理この記事は公開されてから1年以上経過しており、情報が古い可能性があります。こんにちは、ごみばこです。行える形態素解析、すごいですよねー。新しい語が増えたり、なんだりーってしたときに、辞書を更新しないとちょっとだけ直感的ではない分割のされ方になりますよね。辞書を元に分割の仕方を学習するのでそうなんですが。いう素晴らしいプロジェクトがあって、最近の語もどんどん追加してくれています。"10日放送の「中居正広のミになる図書館」(テレビ朝日系)で、SMAPの中居正広が、篠原信一の過去の勘違いを明かす一幕があった。助動詞,*,*,*,特殊・タ,基本形,た,タ,タ。記号,句点,*,*,*,*,。