De lexical analyzer (generéiert automatesch vun engem Outil wéi lex, oder handgemaach) liest an engem Stroum vu Personnagen, identifizéiert d'Lexemen am Stroum, a kategoriséiert se an Token. Dëst gëtt als Tokenizing bezeechent. Wann de Lexer en ongültegt Token fënnt, wäert et e Feeler berichten. Fro: Wat fënnt et wann et e Feeler bericht?
en ongëltege Token