Warm-starting encoder-decoder models using EncoderDecoderModel always giving an empty string after fine-tuning
System InfoI am trying to train a seq2seq model usingEncoderDecoderModelclass and foundthisblog very helpful. Thanks to@patrickvonplatenfor his excellent explanation. Following this blog I fine-tuned a seq2seq model where I used aBERT([BanglaBERT] an Electra) model as encoder and[XGLM]as decoder using [BanglaParaphrase] data. But after fine-tuning the model always generates anempty stringorgarbage output. Now I do not understand where the problem is. Can anyone please help me find the bug in thecode.Thanks.Expected behaviorInput-output for my code:{‘target’: ‘সিপিও আহত থাকায় যুদ্ধ পরিচালনার দায়িত্ব এসে পড়েছিল সেম্প্রোনিয়াসের কাঁধে।’,‘pred_target’: ‘’}which should be something like this (should give the paraphrased sentence according to the input sentence in Bangla):{‘target’: ‘সিপিও আহত থাকায় যুদ্ধ পরিচালনার দায়িত্ব এসে পড়েছিল সেম্প্রোনিয়াসের কাঁধে।’,‘pred_target’: ‘সিপিও কর্তৃক আহত হয়ে সেমপ্রোনিয়াসের কাঁধে যুদ্ধ পরিচালনার দায়িত্ব আসে।’}