Tokenai dažnai apibrėžiami reguliariais išraiškais, kuriuos supranta leksinis analizatorius, pvz., lex. Leksinis analizatorius (generuojamas automatiškai, pavyzdžiui, lex arba rankomis sukurtas) perskaito simbolių srautą, identifikuoja srauto leksemas ir klasifikuoja juos į žetonus. Tai vadinama žetonų formavimu. Jei leksininkas randa netinkamą žetoną, jis praneša apie klaidą. Klausimas: Ką jis ras, jei praneša apie klaidą?
Nepilnas žetonas