Too strange translation result in NLLB-200-3.3B
InNLLB-200-3.3B, there occurs a strange translation result at certain source texts and certain lang pairs. Looks like a trivial bug.For example:from transformers import AutoModelForSeq2SeqLM, AutoTokenizer
modelPath = "facebook/nllb-200-3.3B"
tokenizer = AutoTokenizer.from_pretrained(modelPath, src_lang="rus_Cyrl")
model = AutoModelForSeq2SeqLM.from_pretrained(modelPath)

article = "Приказ Министерства финансов Российской Федерации от 10.08.2023 № 129н \"О признании утратившими силу приказов Министерства финансов Российской Федерации"

inputs = tokenizer(article, return_tensors="pt")
translated_tokens = model.generate(
    **inputs, forced_bos_token_id=tokenizer.lang_code_to_id["spa_Latn"]
)
print(tokenizer.batch_decode(translated_tokens, skip_special_tokens=True)[0])The translation is as follows:Obligación de la Comisión de la Unión Europea de establecer normas de aplicación para la aplicación de las normas de aplicación de las normas de aplicación de las normas de aplicación de las normas de aplicación de las normas de aplicación de las normas de aplicación de las normas de aplicación de las normas de aplicación de las normas de aplicación de las normas de aplicación de las normas de aplicación de las normas de aplicación de las normas de aplicación de las normas de aplicación de las normas de aplicación de las normas de aplicación de las normas de aplicación de las normas de aplicación de las normas de aplicación de las normas de aplicación de las normas de aplicación de las normas de aplicación de las normas de aplicación de las normas de aplicación de las normas de aplicación de las normas de aplicación de las normas de aplicación de las normas de aplicación de las normas de aplicación de las normas de aplicación de las normas de aplicación de las normas de aplicación de las normas de aplicación de aplicación de las normas de aplicación de aplicación de las normas de aplicación dewhich is absolutely incorrect and ugly-looking due to multiple repetitions.This is not observed if I translate toeng_Latnor other languages; at those target languages, the translations are correct.Meanwhile, if I use a simpler NLLB-200 model, e.g., if I change mymodelPathtofacebook/nllb-200-distilled-600M, then I get the following translation:El 10 de agosto de 2023 n 129n " Sobre la pérdida de la fuerza de los pedidos del Ministerio de Finanzas de la Federación de Rusia "which is appropriate by meaning.Besides, if I leave mymodelPathunmodified (i.e.,facebook/nllb-200-3.3B) and slightly change my source text (i.e.article), for example, delete the date or registration number, the translation gets correct.How do you think if the described strange behavior ofNLLB-200-3.3Bis removable by finetuningNLLB-200-3.3Bon these examples?