len(token.encode(charset))の行でエンコードエラーが起きているらしい。len(token)に書き換えてみた。システムに組み込もうとしてみる紹介記事では、2次元のリストで、入力文を与えているため、システム的に使おうと思うと、2次元リストにしないといけない。既知の単語があった場合は、適時リストに分割していく必要がある。(つまり、既知の単語を探索しながら、unicode→リストに放り込むという作業が必要になる)いろいろ考えてみたが、正規表現でなんとかなった。"めちゃめちゃいけてるに出ているよい子の濱口はよく海に行く人でした。i[0]とすると、めちゃめちゃいけてるに出ているよい子の濱口はよく海に行く人でした。