いっきのblogスマートフォン用の表示で見るいっきのblog技術とか色々この広告は、90日以上更新していないブログに表示しています。単語分割するためにMeCabをインストースルしたが、大元となるデータ(コーパス)も欲しい。Wikipediaでは全文データをダウンロードすることができるので、それを利用する方法について書いていきたいと思う。corpus)は、言語学において、自然言語処理の研究に用いるため、自然言語の文章を構造化し大規模に集積したもの。構造化し、言語的な情報(品詞、統語構造など)を付与している。コンピュータ利用が進み、電子化データとして提供している[2]。Wikipedia何を分析するかで変わるが、整形された元となるデータをコーパスというっぽい。日本版WikipediaのデータをダウンロードWikipediaはクローラーしないで欲しい代わりに、以下のURLで全文データを提供している。/jawiki/基本的に最新の方のデータが良いのでlatestディレクトリからダウンロードする。今回使用するデータは本文データが欲しいので、そちらを使う。jawiki-latest-pages-articles.xml.bz2ダウンロードしたデータはXML構造になっているため、XMLをパースするためのWikiextractorを利用する。jawiki-latest-pages-articles.xml.bz2上記のコマンドを行うと、textディレクトリ配下にたくさんのデータがばらけてしまうため集約させておく。wiki.txt")}'これでWikipediaの本文データがwiki.txtに出力される。(アムトラック)が運行するワシントンD.C.からニューヨークに向かう列車が脱線した鉄道事故である事故当時、この列車にはおよそ240人が乗っていた。(ニューヨーク)行き)はフィラデルフィアの30丁目駅を発車した。けん引するものであった。約11分後、列車はから南東にある複々線の本線を走行しており、ポート・リッチモンド地区にあるフランクフォード・アベニューとウィートシーフ・レーンの交差点の近く、にある4度(半径約440m)の左カーブに進入した。<doc>タグには記事のURLとタイトルがはいり、その下からは本文となっている。MeCabを使って分かち書きを出力するこのままだと人間は単語と単語の違いを認識できるが、機械ではできないため単語に分割する。この時に、単語間を空白で区切ることを「分かち書き」という。MeCabがまだの人はこちらでインスールのやり方を紹介している。kzkohashi.hatenablog.comさっそくMeCabを使って先ほどの「wiki.txt」を分かち書きする。16384だいたい1時間かからずに終わる。「-b」はメモリサイズを決めるオプションで、以下のようなエラーがでてしまったため付与してある。option.utf8対策やスペースがうまく区切られてないケースがあるらしいのでおまじないで以下のコマンドも打っておく。