reports検索:自己紹介akip:会社員ときどき研究者。本サイトは、掲載された情報の正当性およびそれらを利用した結果については、一切の責任を負いません。本サイトの情報は、各自の判断と責任においてご利用ください。いうページを見つけたのがきっかけで、今回のネタをやってみようと思った(texソースお借りしました。ありがとうございます。素晴らしい出来ですね)。してみようというお話。HMMとフォローしていく予定だけど、長くなりそうなので、少しずつ。今回はイントロダクションとして、何を対象にしたのかと文字の統計についての紹介。Gutenbergから入手した英語版。英語の方が、単語の切れ目がはっきりしていて扱いやすい。選択に特に意味はない。今回はあまり関係ないけれど、主な前処理は以下。文字(アルファベット)の統計まず、各文書の総文字数を表したグラフを示す。不思議の国のアリスが最も少なく、グリム童話が最も多い。その差は、300k文字程度である。次に、各文字の出現確率(各文字の出現回数を総文字数で割ったもの)を表したグラフを示す。自然言語処理を勉強したときに、一番最初に衝撃を受けたのは、文書が異なっても文字の頻度分布にそれほど大きな差がないということだった。文書のサイズが大きく違っているにもかからず、上図の結果はそれを良く表している。このような言語に潜むパターンをモデル化して、利用する研究分野である。一通り勉強はしたけれど、忘れかけているので、少しずつ更新していってリマインダにする予定。コメントをキャンセルメールアドレスが公開されることはありません。*ウェブサイト上に表示された文字を入力してください。