Thoir iomradh air an earrann gu h-ìosal agus an uairsin freagair a 'cheist às deidh sin anns an aon chànan ris an earrann:  Passage: Tha comharran air an mìneachadh gu tric le abairtean cunbhalach, a tha air an tuigsinn le gineadair anailis leacsaigeach leithid lex. Tha an anailichear faclair (air a ghineadh gu fèin-ghluasadach le inneal mar lex, no air a dhèanamh le làimh) a 'leughadh ann an sruth de charactaran, a' comharrachadh na lexemes anns an t-sruth, agus gan roinn ann an comharran. Tha seo air a ghairm tokenizing. Ma lorgas an lexer comharra neo-dhligheach, bheir e cunntas air mearachd.  Ceist: Dè gheibh e ma dh'innseas e mearachd?
token neo-dhligheach