Dzokorora ndima iri pasi apa uye wopindura mubvunzo unotevera mumutauro mumwe chete: Passage: Zviratidzo zvinowanzotsanangurwa nemashoko akajairika, ayo anonzwisiswa ne lexical analyzer jenareta yakadai se lex. Lexical analyzer (inogadzirwa otomatiki nechishandiso chakaita se lex, kana ruoko-rwakagadzirwa) inoverenga mune rwizi rwevatambi, inozivisa ma lexemes murwizi, uye inovagovera muzviratidzo. Izvi zvinonzi tokenizing. Kana lexer ikawana chiratidzo chisina kukodzera, ichataura kukanganisa. Mubvunzo: Chii chaizowana kana ikataura kukanganisa?
chiratidzo chisina kukodzera