package Ġnet . ve erk est o Ċ Ċ import Ġorg . junit . Test Ċ import Ġorg . junit . Assert Ċ Ċ class ĠPrefix Tree Test Ġ{ ĊĠĠĠ Ġ@ Test ĊĠĠĠ Ġfun Ġbasic Token ize () Ġ{ ĊĠĠĠĠĠĠĠ Ġvar Ġwords Ġ= ĠarrayOf (" à¸ģ ", Ġ" à¸ģ à¸Ĥ ", Ġ" à¸Ĥ à¸Ħ à¸ĩ ") ĊĠĠĠĠĠĠĠ Ġwords . sort () ĊĠĠĠĠĠĠĠ Ġval Ġy ait o Ġ= ĠY ait o ( words ) ĊĠĠĠĠĠĠĠ ĠAssert . assertArrayEquals ( array Of (" à¸ģ ", Ġ" à¸Ĥ à¸Ħ à¸ĩ "), Ġy ait o . tokenize (" à¸ģ à¸Ĥ à¸Ħ à¸ĩ ")) ĊĠĠĠ Ġ} ĊĊĠĠĠ Ġ@ Test ĊĠĠĠ Ġfun Ġfive Words Token ize () Ġ{ ĊĠĠĠĠĠĠĠ Ġvar Ġwords Ġ= ĠarrayOf (" à¸ģ ", Ġ" à¸ģ à¸Ĥ ", Ġ" à¸Ĥ à¸Ħ à¸ĩ ", Ġ" à¸Ħ ", Ġ" à¸ĩ ") ĊĠĠĠĠĠĠĠ Ġwords . sort () ĊĠĠĠĠĠĠĠ Ġval Ġy ait o Ġ= ĠY ait o ( words ) ĊĠĠĠĠĠĠĠ ĠAssert . assertArrayEquals ( array Of (" à¸ģ à¸Ĥ ", Ġ" à¸Ħ "), Ġy ait o . tokenize (" à¸ģ à¸Ĥ à¸Ħ ")) ĊĠĠĠ Ġ} ĊĊĠĠĠ Ġ@ Test ĊĠĠĠ Ġfun Ġspace Tokenizer () Ġ{ ĊĠĠĠĠĠĠĠ Ġvar Ġwords Ġ= ĠarrayOf (" à¸ģ ") ĊĠĠĠĠĠĠĠ Ġval Ġy ait o Ġ= ĠY ait o ( words ) ĊĠĠĠĠĠĠĠ ĠAssert . assertArrayEquals ( array Of (" à¸£ à¸£ ", Ġ" Ġ", Ġ" à¸¡ à¸¡ "), Ġy ait o . tokenize (" à¸£ à¸£ Ġ à¸¡ à¸¡ ")) ĊĠĠĠ Ġ} ĊĊĠĠĠ Ġ@ Test ĊĠĠĠ Ġfun Ġlatin Tokenizer () Ġ{ ĊĠĠĠĠĠĠĠ Ġvar Ġwords Ġ= ĠarrayOf (" à¸ģ ") ĊĠĠĠĠĠĠĠ Ġval Ġy ait o Ġ= ĠY ait o ( words ) ĊĠĠĠĠĠĠĠ ĠAssert . assertArrayEquals ( array Of (" à¸£ à¸£ ", Ġ" AB ", Ġ" à¸¡ à¸¡ "), Ġy ait o . tokenize (" à¸£ à¸£ AB à¸¡ à¸¡ ")) ĊĠĠĠ Ġ} Ċ Ċ }