Gade pasaj ki anba a epi reponn kesyon an apre sa nan menm lang ak pasaj la: Pasaj: Token yo souvan defini pa ekspresyon regilye, ki konprann pa yon dèlko analizè leksikal tankou lex. analizè leksikal la (genere otomatikman pa yon zouti tankou lex, oswa handcrafted) li nan yon kouran nan karaktè, idantifye lexemes yo nan kouran an, epi kategorize yo nan tokens. Sa a se rele tokenization. Si lexer la jwenn yon siy ki pa valab, li pral rapòte yon erè. Kesyon: Ki sa li pral jwenn si li rapòte yon erè?
yon siy ki pa valab