2018/08/29SHAREツイートシェアはてブGoogle+PocketLINE前回はMeCabを使って分かち書きを行いました。機械学習で日本語の文章を分かち書きするなら青空文庫を利用したい!という方が多いと思います。そこで、今回は青空文庫を簡単に分かち書きして、テキストファイルでダウンロードできるスクリプトをGoogleColabで書いてみす。LinkGoogleColaboで青空文庫を分かち書きしてみるGoogleColaboを開いてください。MeCabのインストールを行います。mecab-python3インストールができたので試しに形態解析をしてみます。分かち書きができましたね。ここまでは前回やりました。続いて、青空文庫から書籍をzip形式でダウンロードしてきます。URLはダウンロードする書籍のURL(.zip)を選択しています。分かち書きが完了した後のファイルの名前を指定します。ファイルを取得します。青空文庫にはルビが入っていたり、行末に本文とは関係のない文字が含まれているのでそれらを削除します。文章初めの全角スペースや、改行も一緒に削除しています。textzipファイルをダウンロードして、文章を取り出します。https://www.aozora.gr.jp/cards/000148/files/789_ruby_5639.zip取り出した文章から余計な文字を取り除きます。convert(download_file)text"一吾輩は猫である。どこで生れたかとんと見当がつかぬ。何でも薄暗いじめじめした所でニャーニャー泣いていた事だけは記憶している。最後にMeCabを使って分かち書きを行います。