tokenizer¶トークナイザー名を指定します。指定された名前のトークナイザーを使います。トークナイザーを使う例です。コマンドでトークナイザープラグインを登録する必要があります。登録することで使えます。string¶トークナイズしたい文字列を指定します。クォートする必要があります。中で空白を使う例です。省略可能引数¶いくつか省略可能な引数があります。normalizer¶ノーマライザー名を指定します。いう名前のノーマライザーを使います。N-gram関連のトークナイザーにとってとても重要です。ノーマライザーはノーマライズ中にそれぞれの文字の種類を検出します。N-gram系のトークナイザーはトークナイズ中に文字の種類を利用します。以下はノーマライザーを使わない例です。]すべてのアルファベットが2文字ごとトークナイズされています。1つのトークンになっています。以下はノーマライザーを使う例です。]連続するアルファベットが1つのトークンにトークナイズされています。1つのトークンになっています。]すべてのアルファベットが2文字ごとにトークナイズされています。すべての文字が小文字にノーマライズされています。1つのトークンになっています。flags¶トークナイズ処理をカスタマイズするオプションを指定します。」で区切って複数のオプションを指定することができます。いうように指定できます。指定可能なフラグは以下の通りです。フラグ説明NONE無視されます。ENABLE_TOKENIZED_DELIMITERトークナイズ済み区切り文字を有効にします。