Skilgreiningar eru oft skilgreindar með reglulegum tjáningum, sem eru skilgreindar af lexical analyzer generator eins og lex. Lexical analyzer (gerður sjálfkrafa af tóli eins og lex, eða handsmíðaður) les í straumi af stafi, skilgreinir lexemes í straumi og flokkar þá í merki. Þetta er kallað tokenizing. Ef lexer finnur ógildan merki, mun það tilkynna mistök. Spurning: Hvað mun það finna ef það tilkynnir mistök?
ógildilegur tákn