Rejea kifungu hapa chini na kisha jibu swali baadaye katika lugha ile ile kama kifungu: Passage: Tokens mara nyingi hufafanuliwa na misemo ya kawaida, ambayo yanaeleweka na jenereta ya mchanganuzi wa lexical kama vile lex. Mchanganuzi wa lexical (unaotengenezwa kiotomatiki na zana kama lex, au iliyoundwa kwa mikono) husoma katika mkondo wa herufi, hutambua lexemes katika mkondo, na huziweka katika ishara. Hii inaitwa tokenizing. Ikiwa lexer itapata ishara batili, itaripoti kosa. Swali: Itapata nini ikiwa itaripoti kosa?
ishara batili