トークナイザーはトークナイズ済み区切り文字をサポートしているトークナイザーの1つです。トークナイズ済み区切り文字を有効に出来ます。トークナイズ済み区切り文字はトークンの区切りを表す特別な文字です。この文字コードはどの文字にも割り当てられていません。通常の文字列にはこの文字は現れません。よって、トークンの区切りを表すという目的には適切な文字です。有効のときは、対象文字列はすでにトークナイズ済みであると扱われます。トークナイザーは単にトークナイズ済み区切り文字で区切ってトークナイズします。mode¶トークナイズモードを指定します。指定すると、ドキュメント追加時と同じルールでトークナイズされます。指定すると、ドキュメント検索時と同じルールでトークナイズされます。モードでトークナイズされます。