U fiirso qoraalka hoose ka dibna ka jawaab su'aasha kadib isla luqadda qoraalka:  Marinka: Calaamadaha waxaa badanaa lagu qeexaa ereyada caadiga ah, kuwaas oo ay fahmaan matoor falanqeeye erey sida lex. Falanqeeyaha ereyga (oo si otomaatig ah loo soo saaro qalab sida lex, ama gacanta lagu sameeyo) wuxuu aqriyaa qulqulka jilayaasha, wuxuu aqoonsadaa lexemes-ka qulqulka, wuxuuna u kala saaraa astaamo. Tan waxaa loo yaqaannaa " Tokenization " Haddii uu qoraagu helo calaamad aan sax ahayn, wuxuu soo gudbinayaa khalad.  Su'aal: Maxaa soo baxaya haddii uu khalad soo gudbiyo?
calaamad aan ansax ahayn