トークンは通常,レキシカルアナライザージェネレーター (lex) が理解するレギュラー式で定義されます.レキシカルアナライザー (lexのようなツールで自動的に生成される) は文字のストリームを読み,ストリーム内のレキシマを識別し,トークンに分類します.これはトークン化と呼ばれます.レキシマが無効なトークンを発見した場合,エラーを報告します.質問:エラーを報告した場合,何が発見されますか?
不正のトークン