Delengen wacana ing ngisor iki lan banjur wangsulana pitakon kasebut ing basa sing padha karo wacana: Wacana: Token asring ditetepake kanthi ekspresi reguler, sing dingerteni dening generator analis leksikal kayata lex. Analis leksikal (digawe kanthi otomatis dening alat kaya lex, utawa digawe kanthi tangan) maca ing aliran karakter, ngenali leksem ing aliran kasebut, lan dikategorikake dadi token. Iki diarani tokenisasi. Yen lexer nemokake token sing ora valid, bakal nglaporake kesalahan. Pitakon: Apa sing bakal ditemokake yen nglaporake kesalahan?
token sing ora valid