For example, a calculator program would look at an input such as "12 * (3 + 4)^2" and split it into the tokens 12, *, (, 3, +, 4, ), ^, 2, each of which is a meaningful symbol in the context of an arithmetic expression.
На пример, една програма- калкулатор ќе добие на влез нешто што изгледа вака “12*(3+4)^2” и ќе го подели на токените 12, *, (, 3, +, 4, ), ^ и 2, секој од нив е симбол со значење во контекст на аритметичките изрази.