言ふに、乗りて渡らむとするに、みな人ものわびしくて、京に思ふ人なきにしもあらず。さる折しも、白き鳥の嘴(はし)と脚と赤き、鴫(しぎ)の大きさなる、水の上に遊びつつ魚(いを)を食ふ。京には見えぬ鳥なれば、みな人見知らず。詠めりければ、舟こぞりて泣きにけり。""";}結果は以下のようになりました。いう長い文字列を分割してくれる機能があります。なっているので、そちらを使おうと思います。コードをコピペしてきてトークンのカウント処理を以下のように書き換えておきました。