Patikrinkite žemiau pateiktą eilutę ir atsakykite į klausimą, pateiktą toje pačioje kalba, kaip ir eilutė:  Pasėdis: Ženklai dažnai apibrėžiami reguliariomis išraiškomis, kurias supranta leksikinio analizatoriaus generatorius, pvz., lex. Leksikalus analizatorius (automatiniu būdu generuojamas tokio įrankio kaip lex arba rankiniu būdu pagamintas) skaito simbolių srautą, identifikuoja leksemes sraute ir klasifikuoja juos į žetonus. Tai vadinama tokenizacija. Jei lexer ras negaliojančią žetoną, jis praneša apie klaidą.  Klausimas: Ką jis ras, jei praneša apie klaidą?
Nepilnas žetonas