Rejea kifungu cha chini na kisha jibu swali baadaye katika lugha sawa na kifungu:  Passage: Tokens mara nyingi hufafanuliwa na maneno ya kawaida, ambayo yanaeleweka na jenereta ya uchambuzi wa lexical kama vile lex. Mchanganuzi wa lexical (unaotengenezwa kiotomatiki na chombo kama lex, au uliofanywa kwa mikono) husoma mkondo wa wahusika, hutambua lexemes katika mkondo, na huziweka katika ishara. Hii inaitwa tokenizing. Kama lexer hupata ishara batili, itakuwa ripoti kosa.  Swali: Nini itakuwa kupata kama ripoti kosa?
ishara batili