tendo em vista que o fast-text consegue processar uma sequencia de length 4090 x 64 a uma velocidade de  6.000.000/s/core ele conseguiria ler todo dado usado para treianr o LLAMA em quanto tempo, a que ponto isso pode ser uma opção boa para iniciar o treinamento de uma rede trasnformers, tendo em vista que ele consegue prever uma palvra usando o sistema de predict que funciona bem.