Passage: Token sering didefinisikan oleh ekspresi reguler, yang dipahami oleh generator analis leksikal seperti lex. Analis leksikal (diproduksi secara otomatis oleh alat seperti lex, atau buatan tangan) membaca dalam aliran karakter, mengidentifikasi leksem dalam aliran, dan mengkategorikan mereka menjadi token. Ini disebut tokenisasi. Jika lexer menemukan token yang tidak valid, ia akan melaporkan kesalahan. Pertanyaan: Apa yang akan ditemukan jika melaporkan kesalahan?
Token yang tidak valid