A lexikális elemző (amelyet automatikusan generál egy olyan eszköz, mint a lex, vagy kézzel készített) karakterek áramlatában olvas, azonosítja az áramlatban lévő lexikémákat, és kategorizálja őket jelvényekké. Ezt jelvényesítésnek nevezik. Ha a lexikoló helytelen jelet talál, hibát jelent. Kérdés: Mit talál, ha hibát jelent?
érvénytelen token