EOS(サンプルそのまま)もうこれを使ったら良いんじゃないかなあと思います。!やっぱり実際に様々な文言をいれていくと、そういう分け方になるのねーだったり、それはちょっといらないんだよなー、というパターンは発生します。なんていうんでしょうか、特徴語抽出とか、なんかそういうときにちょっと不便になるんですよきっと。そんなころに、形態素解析した後に品詞を見て結合処理をすると良い、と風の噂で聞いたので試しました。結果ではないので注意。※まずは結合処理無しのものを見てみましょう。「3Dブロー方式」でスピード乾燥。*']短い文章ですが、「3」「D」と分かれていたり、「3」「D」「ブロー」「方式」はくっついていたほうがいいんじゃないかなあ、などなど。なあ、という部分がありそうです(主観)こういったものをはじめ、色々な文章をいれつつ、こっちのほうがいいなー、これはためだなー、などと、目視で結合処理を増やしていったロジックがこれです。次のループへそれではこのロジックで同じ文章を試してみましょう。「3Dブロー方式」でスピード乾燥。サ変接続']結合したので、品詞や種類などはもう完全に意味をなしていませんが、先ほどよりも、なんだか自然な感じで単語が取れているのではないでしょうか?(主観)というわけで結合するとよくなりそうだよ、って紹介でした。自然言語処理この記事は公開されてから1年以上経過しており、情報が古い可能性があります。こんにちは、ごみばこです。形態素解析などの処理をし、文章から語にすることがよくあると思います。シンプルですが、分け具合、分け方によって情報量がなくなってしまうこともありますし、データ量も大きくなりがちです。形態素解析は簡単お手軽そうに見えますが、裏の処理はなかなかコストが高く、ちりもつもればなんとやら。https://github.com/google/sentencepiece私の知識や理解力の不足から雑な説明にはなってしまいますが...。行うことは次のことです。形態素解析などと比べて劣ることなく十分に効果を発揮した、との記録もあります。https://github.com/google/sentencepiece#results-bleu-scores学習する、という初期コストがかかることについては、形態素解析も同じですが、その後の分割することについては、形態素解析よりもコスト低く行うことができます。語彙も形態素解析で扱う辞書に比べて遥かに小さくできるそうで、パフォーマンスよし、効果よし、ととても魅力的に見えますね!実際に収録されているサンプルを試してみました。お手軽にやってしまいます。...コンテナの中で必要なツールの準備を進めていきます。makeここまでで実行ファイルが作られます。それでは文章から学習をしてみます。サンプルとして吾輩は猫である...が収録されているので、これを使ってみます。neko.vocab学習が完了しました。適当な文章を入れて、分割の様子を見てみましょう。