These tools generally accept regular expressions that describe the tokens allowed in the input stream.
Овие алатки генерално прифаќаат регуларни изрази кои што ги опишуваат токените кои се дозволени на влез.