Faasino i le vaega o loo i lalo ma tali le fesili mulimuli ane i le gagana lava lea e tasi e pei o le vaega:  Faʻamatalaga: O faʻailoga e masani ona faʻamatalaina e ala i faʻamatalaga masani, lea e malamalama i ai e se lexical analyzer generator e pei o le lex. O le masini e suʻesuʻe ai upu (e otometi lava ona faia e se meafaigaluega e pei o le lex, po o le faia i le lima) e faitauina ai se faasologa o mataʻitusi, e iloa ai upu o loo iai i le faasologa, ma tuufaavasega i ni faailoga. Ua taʻua lenei mea o le "tokenizing". Pe afai e maua e le masini e suʻesuʻe upu se faailoga e lē saʻo, o le a lipotia mai ai se mea sesē.  Fesili: O le ā o le a iloa pe a lipotia se mea sesē?
o se faailoga lē aoga