Referindu-ne la pasajul de mai jos și apoi răspunzând la întrebarea ulterioară în aceeași limbă cu pasajul: Pasaj: Token-urile sunt adesea definite prin expresii regulate, care sunt înțelese de un generator de analizator lexical, cum ar fi lex. Analizatorul lexical (generat automat de un instrument cum ar fi lex, sau realizat manual) citește într-un flux de caractere, identifică lexemele din flux și le clasifică în token-uri. Acest lucru se numește tokenizare. Dacă lexer găsește un token nevalabil, va raporta o eroare. Întrebare: Ce va găsi dacă raportează o eroare?
un token invalid