O analizador léxico (xenerado automaticamente por unha ferramenta como lex, ou elaborado a man) lee un fluxo de caracteres, identifica os lexemas no fluxo e clasifica-los en tokens. Isto chámase tokenización. Se o lexer atopa un token inválido, informará un erro. Pregunta: Que atopará se informa un erro?
un token inválido