corpusRのkoRpusパッケージを使うと、語彙の豊富さや文章の難しさを測ることができます。このパッケージには非常に多くの機能が実装されていますが、今回はその一部を紹介したいと思います。Carolを使います。こちらからtxtデータをダウンロードして、Rのワーキング・ディレクトリに保存してください。保存したデータをtokenize関数で読み込みます。読み込んだデータの概要を確認summary(tok)上記のスクリプトを実行すると、以下のように、データの概要が表示されます。NAでは、読み込んだデータを対象に、語彙の豊富さを測ってみましょう。語彙の豊富さを測る指標には様々なものがあります。2種類を算出しています。CTTR(tok))上記のスクリプトを実行すると、以下のような結果が表示されます。insensitive.また、文章の難しさを測る指標(リーダビリティ)にも様々なものがあります。Levelの2種類を算出しています。Levelflesch.kincaid(tok)上記のスクリプトを実行すると、以下のような結果が表示されます。*1:このパッケージに関する詳細は、公式のマニュアルを参照してください。*2:本来であれば、分析を始める前にテキストの本文以外の部分を削除する必要がありますが、ここでは省略します。Kobayashi言語と統計に関心があります。著書は、『ことばのデータサイエンス』、『Rによるやさしいテキストマイニング』、『Rによるやさしいテキストマイニング[機械学習編]』、『Rによるやさしいテキストマイニング[活用事例編]』、『仕事に使えるクチコミ分析—テキストマイニングと統計学をマーケティングに活用する』など。Diaryはてな記法一覧Searchはてなブログをはじめよう!langstatさんは、はてなブログを使っています。ブログを報告するスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。