ColaboratoryAlphaZero自然言語処理ライブラリtkintertweepyabout2018-07-23日本語のテキストコーパスから辞書を作るライブラリを作りたい2NLPHatebuTwitterPocket前々回の記事でTensorFlowを使ってテキスト分類をした結果、あまりうまくいきませんでした。原因として助詞や助動詞といった、テキストを分類する上であまり意味のなさそうなものがあるからかなと感じました。そこで今回は以前作ったJapaneseTextEncoderに指定した品詞を取り除く機能を追加したうえで、もう一度TensorFlowを使ったテキスト分類をやってみます。結論ゼロから作るDeepLearningソースコードtext_encoder.py関連リンクTensorFlowを使ってテキスト分類をしてみる。どん底から這い上がるまでの記録JapaneseTextEncoderの改良この前作ったJapaneseTextEncoderはMeCabのオプションに”-Owakati"を指定していました。品詞を取り除くにはオプションを”-Ochasen"に変更します。MeCab.Tagger("-Ochasen")また、テキストを形態素に分割するメソッドtokenizeを以下のように変更します。Nonetokenizeには変更前と同じように文字列を渡します。戻り値は要素が形態素のリストを返します。self.filtersには除外する品詞が要素になったリストになっています。"助動詞"]改良したところは以上です。TensorFlowを使ったテキスト分類filtering今回は助詞と助動詞をテキストから取り除くので、以前書いたdatasets.pyを以下のように変更します。他に変更点はないので、前に書いたプログラムで学習をします。test_t)print(results)分類精度は75%となりました。前は73%だったので、2%上がりましたね。0.7516778555492427]Epochを増やす助詞と助動詞を取り除く前処理をしただけでは前と結果は変わりませんでした。分類精度が悪いのはただ単にepoch数が短いからなのでは、と思ったのでepoch数を40から100に前処理をしないで再度学習をしてみました。今回のケースは前処理が問題ではなく、エポック数が少ないのが原因でした。学習するために使ったデータセットによっては、助詞や助動詞を取り除くといった前処理が必要になると思いたい。ゼロから作るDeepLearning自然言語処理を勉強したい方へのおすすめの本です。chainerやPyTorchといったフレームワークを使わずにゼロからnumpyを使ってディープラーニングの実装をしています。07:57日本語のテキストコーパスから辞書を作るライブラリを作りたい2関連記事2018-09-20日本語のテキストコーパスから辞書を作るライブラリを作りたい6前回書いた記事の続きです。MeCabの対...2018-09-08N-gramについて書いてみるN-gramについて勉強したので、そのメモ。この記事の最後にはpy...2018-09-01日本語のテキストコーパスから辞書を作るライブラリを作りたい5前回書いた記事の続きです。最近mecab-ipadic...2018-08-27JapaneseTextEncoderのまとめ記事。この記事では日本語のテキストコーパスから辞書を作るライブラ...2018-08-26日本語のテキストコーパスから辞書を作るライブラリを作りたい4この記事は前回書いた記事の続きになります。はてなブログPropython、NLP、AI、強化学習、投資について興味があります。PyTorchを使ってテキスト分類をやってみるSentencePieceを使ってみた。(1)月別アーカイブ関連記事SentencePieceを使ってみた。SentencePieceについて書いてみる。NLPを使って日本語の形態素解析をしてみるgensimを使ってWikipediaの全日本語記事からWord2Vecを作るPyTorchによるSeq2seqの。