Verweist op déi folgend Passage an äntwert duerno op d'Fro an der selwechter Sprooch wéi d'Passage:  Passage: Token ginn dacks duerch regelméisseg Ausdréck definéiert, déi vun engem lexical Analyzer Generator wéi lex verstan ginn. De lexikalen Analyzer (automatesch generéiert vun engem Tool wéi lex, oder handgemaach) liest an engem Stroum vu Personnagen, identifizéiert d'Lexemen am Stroum, a kategoriséiert se an Token. Dëst gëtt Tokenéierung genannt. Wann de Lexer en ongültegt Token fënnt, gëtt e Feeler gemellt.  Fro: Wat fënnt et, wann et e Feeler bericht?
en ongëltege Token