Delengen ing ngisor iki lan banjur wangsulana pitakonan ing basa sing padha karo wacana:  Passage: Token asring ditetepake dening ekspresi reguler, sing dingerteni dening generator analizer leksikal kayata lex. Analis leksikal (diprodhuksi kanthi otomatis dening alat kaya lex, utawa digawe kanthi tangan) maca ing aliran karakter, ngenali lexemes ing aliran kasebut, lan dikategorikake dadi token. Iki diarani tokenisasi. Yen lexer nemokake token sing ora valid, bakal nglaporake kesalahan.  Pitakonan: Apa bakal nemokake yen laporan kesalahan?
token sing ora valid