EM training on unigram tokenizer taking way longer than predicted
I am trying to train my own Sentencepiece unigram tokenizer, but the EM training step is taking nearly ~2x predicted iterations to prune the vocabulary. I was wondering if this is normal and whether I should retry with larger shrink factor/vocabulary. Any hints? Thanks![02:22:46] Pre-processing sequences                 █████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ 0        /        0
[00:11:52] Suffix array seeds                       █████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ 43102066 / 43102066
[1d 00:50:16] EM training                              ██████████████████████████████████████████████████████████████████████████████████████████████████████████████████ 72       /       34