Hallo, ich habe versucht, Verstärkungslernen (trlx-Bibliothek) zu verwenden, um ein FLAN-T5 zu trainieren. Ich habe gesehen, dass es als Beispiele Stimmungsanalyse oder Zusammenfassung Aufgaben gibt, aber in meinem Fall ist es eine generische Generierung Aufgabe. Versuchen, meinen Datensatz zu verwenden, habe ich versucht, die Konfiguration: ppo_config_cnn_daily.yml. Das Ergebnis habe ich bekommen, und es scheint eine Zusammenfassung Aufgabe zu sein: Prompt: "[einige Text]... von 1978, ohne Ende Jahre eingehende 62" Ausgabe: "Jahre eingehende 62 eingehende 62 eingehende 62 eingehende 62 eingehende 62 eingehende 62 eingehende 62 eingehende 62 eingehende 62 eingehende 62 eingehende 62 eingehende 62 eingehende 62 eingehende" Und ich benutze diesen Code mit meinen persönlichen Aufforderungen: trlx.train( reward_fn=reward_fn, prompts=traincts_prompts, eval_prompts=valid_prompts, maxconfig=config=config ) Ich habe zwei Probleme, vielleicht verursacht durch Zusammenfassung Aufgabe: Zuerst die Wiederholung am Ende, ist die erwartete Ausgabe sehr unterschiedlich: ob: ober
Es scheint, dass das Problem, dem Sie sich stellen, ist, dass die Beispielkonfigurationsdatei, die Sie verwendet haben (ppo_config_cnn_daily.yml) für eine Summarisierungsaufgabe konzipiert ist und möglicherweise nicht für Ihre generische Texterzeugungsaufgabe geeignet ist. Daher müssen Sie die Konfigurationsdatei und Hyperparameter anpassen, um Ihrer Aufgabe besser gerecht zu werden. Hier sind einige Vorschläge zur Anpassung der Konfigurationsdatei und Hyperparameter für eine generische Texterzeugungsaufgabe: 1. Passen Sie die maximale Sequenzlänge an: In Ihren Abschnitten gen_kwargs und gen_experience_kwargs haben Sie den Parameter max_new_tokens auf 100 gesetzt. Dies setzt die maximale Anzahl von Tokens, die für jede Eingabe prompt generiert werden können. Je nach Komplexität Ihrer Texterzeugungsaufgabe können Sie diesen Wert erhöhen oder verringern. 2. Passen Sie die Abtastungsparameter an: In Ihrem Abschnitt gen_kwargs haben Sie die Temperatur auf 1.0, top_k auf 50 und top_p auf 0.95 eingestellt. Je nach Komplexität Ihrer Texterzeugungsaufgabe können Sie die unterschiedliche Textbeschreibungen steuern.