La leksika analizilo (generita aŭtomate per ilo kiel leksiko, aŭ manfarita) legas en fluo de karakteroj, identigas la leksemojn en la fluo, kaj klasifikas ilin en leksemojn. Tio estas nomata tokenizado. Se la leksikisto trovas malvalidan leksikon, ĝi raportos eraron. Demando: Kion ĝi trovos se ĝi raportas eraron?
malvalida ĵetono