package Ġcom . new tran x . eval . token izers Ċ Ċ import Ġcom . at il ika . ku rom o ji . ip adic . Token Ċ import Ġcom . at il ika . ku rom o ji . ip adic . Tokenizer Ċ Ċ /** Ċ Ġ* Ġ@ Author : Ġan son Ċ Ġ* Ġ@ Date : Ġ 2 0 2 2 / 2 / 1 4 Ġ 9 : 5 1 ĠPM Ċ Ġ*/ Ċ class ĠToken izer Ja Ġ: ĠI Tokenizer Ġ{ ĊĠĠĠ Ġoverride Ġfun Ġparse ( text : ĠString ): ĠString Ġ{ ĊĠĠĠĠĠĠĠ Ġreturn Ġraw Parse ( text ). join ToString (" Ġ") ĊĠĠĠ Ġ} ĊĊĠĠĠ Ġoverride Ġfun Ġraw Parse ( text : ĠString ): ĠList < String > Ġ{ ĊĠĠĠĠĠĠĠ Ġval Ġtokenizer Ġ= ĠToken izer () ĊĠĠĠĠĠĠĠ Ġval Ġtokens : ĠList < Token > Ġ= Ġtokenizer . tokenize ( text ) ĊĠĠĠĠĠĠĠ Ġreturn Ġtokens . map Ġ{ Ġit . surface Ġ} ĊĠĠĠ Ġ} Ċ }