Rigardu la malsupran trairejon kaj poste respondu la demandon poste en la sama lingvo kiel la trairejo:  Trairejo: Tokenoj ofte estas difinitaj per regulaj esprimoj, kiuj estas komprenitaj per leksika analizilo-generatoro kiel ekzemple leksiko. La leksika analizilo (generit aŭtomate per ilo kiel lex, aŭ manfarita) legas en karakterofluo, identigas la leksemojn en la fluo, kaj klasifikas ilin en signojn. Tio nomiĝas tokenizado. Se la lexer trovas malvalidan token, ĝi raportos eraron.  Demando: Kion ĝi trovos se ĝi raportas eraron?
malvalida ĵetono