各文の先頭についている▁は、文の区切りを意味する記号です。見て取れるMeCabとの違いの1つは、複数単語からなるトークンが存在していることです。「認められていなかった」は「認められ」と「ていなかった」に、「通説とされている」が「通説」と「とされている」に分割されています。いう3つのトークンに分割されています。今回使用した学習データに、「武家」や「武家法」という文字列の出現が少なかったために、このように1文字単位で分割されているようです。言語モデルを学習させるあとは前回のコードのコーパスを読み込む部分を少し書き換えると、言語モデルが学習できます。コード全体はGitHubにあげてあるので、そちらを参考にしてください。学習は、40エポックを超えたあたりで学習率が小さく、ロスもほぼ変わらなくなったので打ち切りました。語彙数が少なく抑えられているのでロスやパープレキシティが前回より小さくなっています。165.51=========================================================================================という前回より小さいロスになりました。文章を生成してみるこれまた前回と同じ方法で文章を生成してみました。文としては不完全なものが多いですが、ところどころそれなりに日本語っぽいものが生成されているようにも見えます。