NextRealityスマートフォン用の表示で見るNextReality2014-01-14自分の英語文書をマイニングして次に学ぶべき単語リストを自動生成する方法(暦本式語彙増強法)英単語の語彙をどうやって増やしたらいいだろうか。やみくもに単語集みたいなものを順に覚えていくのも道程が長そうだ。一般論ではなく自分がよく書く分野に特化して語彙を増やしたい。いうことで、テキストマイニングを使ってやる方法を考えてみた。方針は以下の通りである:自分が今までに書いたすべての(英語)の文書を解析して、品詞ごとに出現回数でソートする。つぎに、自分の所属するコミュニティの文書(たとえば自分がよく参加する学会に掲載される論文など)をなるべく大量にあつめて、同じように品詞ごとに出現回数でソートしておく。両者を比較して、そのコミュニティでは使用頻度が高いにも関わらず、まだ使ったことのない単語を抽出して自分専用の「単語集」をつくる。やって抽出された単語集を勉強すれば、一般的な単語集を使うよりも効率がいいのではないだろうかという目論みだ。対象となる分野を選んでいるのは、たとえば情報科学で使われる単語と、政治学で使われる単語は傾向も違うだろうから、なるべく自分が書きそうな分野の語彙を増やすのが得策ではないかと考えたわけだ。実現は簡単なrubyスクリプトと、既存のTextTaggerという形態素解析(品詞解析)ソフトとの組み合わせである。インストール方法は後述する。3.36意外だったのは、形容詞の語彙数が、自分と学会論文全体とで結構開いていること(3.61倍)。名詞よりも開きが大きい。いうことは、形容詞をより集中的に勉強して差を縮めると、もっと表現力のある英文が書けるようになるかもしれないということだろうか。...さて、このようにして抽出された「私が使っていないが私が関係する分野での使用頻度が高い」単語集は、以下のようになった。使うようにしているからだろう。ちなみにvalidateは参照文書中のランキングでは352位。興味深いことに、interestinglyを使ったことがないらしい。これはCHIの中でもエスノグラフィー系の論文や環境もので使われている語彙かもしれない。https://github.com/rkmt/vocab.gitvocabというディレクトリが出来る。tree-tagger/cmd/tree-tagger-englishなどとすると品詞が解析されているのがわかるはずだ。インストール:PDFファイルからテキストを抽出するためにpdftotextをインストールする。参考にしたい文書ディレクトリで解析を開始する。サブディレクトリ内に置かれたものも階層的に解析する。同様に参考にした文書から抽出した頻度順リストになる。月別アーカイブはてなブログをはじめよう!rkmtさんは、はてなブログを使っています。ブログを報告するスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。