2016の12日目の記事です。以前、ワードリストを作るという記事を書きましたが、R単体では、英単語の基本形や品詞の情報を利用したワードリストを作ることができません。基本形や品詞の情報を使うには、品詞タガーによる前処理が必要となります。品詞タガーにもいろいろなものが存在しますが、今回は、TreeTaggerを使用します。このタガーは、英語以外の様々な言語にも対応しています。インストール方法や使い方については、公式ウェブサイトを参照してください。*2TreeTaggerで解析したテキストファイルは、(主に)タブ区切りのテキストファイルで出力されます。speechをTreeTaggerで解析した結果をRに読み込んだものです。FALSE)head(tagged.text)上記のスクリプトを実行すると、以下のような結果が得られます。左の列が単語の表層形、中央の列が品詞の情報、右の列が基本形の情報です。JJやNNといった記号が何を意味するかは、こちらのタグリストなどを参照してください。Donaldまずは、一番右の列にある基本形の情報を使って、ワードリストを作成します。10)上記のスクリプトを実行すると、以下のような結果が得られます。今回は、記号や数字を集計対象に含めていますが、もし削除したい場合は、tmパッケージのremoveNumbers関数とremovePunctuation関数を使うことができます。次に、品詞の情報を利用したワードリストを作成します。品詞の情報を使うことで、たとえば、助動詞のwillと名詞のwillのような単語を別々に集計することが可能になります。10)上記のスクリプトを実行すると、以下のような結果が得られます。24"なお、Rによる英文テキスト処理については、以下のような参考文献もあります。ハードカバーこの商品を含むブログを見るEnjoy!!*1:その他の品詞タガーについては、Wikipediaの記事などを参照してください。因みに、日本語の場合は、RMeCabパッケージを利用することが可能です。*2:もう少し手軽にTreeTaggerを使ってみたい場合は、TagAntというGUIツール、あるいはオンライン版もあります。RからTreeTaggerを直接操作する方法については、こちらの記事などが参考になります。*3:詳しくは、こちらを参照してください。*4:日本語と英語のテキスト処理については、まもなく出版される拙著でも扱っています(ぼそ)。(3)前回に引き続き、RMeCabパッケージの使い方を紹介します。(2)前回に引き続き、RMeCabパッケージの使い方を紹介します。Kobayashi言語と統計に関心があります。著書は、『ことばのデータサイエンス』、『Rによるやさしいテキストマイニング』、『Rによるやさしいテキストマイニング[機械学習編]』、『Rによるやさしいテキストマイニング[活用事例編]』、『仕事に使えるクチコミ分析—テキストマイニングと統計学をマーケティングに活用する』など。Diaryはてな記法一覧Searchはてなブログをはじめよう!langstatさんは、はてなブログを使っています。ブログを報告するスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。