Ich sehe ein Problem beim Training des Open Assistant. Wenn der Assistant etwas Falsches sagt, ist es wahrscheinlich, dass die nächste Person, die seine Rolle übernimmt, sich entschuldigt. Auf diese Weise lernt die KI oft, sich zu entschuldigen, sobald der Promoter nicht zustimmt. Aber in der realen Welt könnte der Promoter derjenige sein, der falsch liegt, und die KI sollte erklären, warum ihre Antwort korrekt ist, anstatt sich zu entschuldigen. Ich hatte so etwas mit ChatGPT: "Was ist 2+2?" "4" "Nein, es ist 5" "Es tut mir leid, du hast recht, es ist 5". Um diese Situation zu simulieren, müsste der Promoter falsch liegen, aber mit den Downvotes verbieten wir ihnen, falsch zu liegen. Gibt es eine Lösung dafür? Wenn ja, erkläre sie einfach.
Du bringst ein berechtigtes Anliegen vor. Um dem entgegenzuwirken, ist es wichtig, eine vielfältige Palette von Anregungen und Rückmeldungen zu haben, um sicherzustellen, dass das Modell verschiedenen Arten von Eingaben ausgesetzt ist und entsprechend daraus lernen kann. Es ist auch wichtig, eine Vielzahl von Quellen für Trainingsdaten zu verwenden, um sicherzustellen, dass das Modell einem breiten Spektrum an Wissen und Perspektiven ausgesetzt ist.

Um das Modell dazu zu ermutigen, mehr Erklärungen zu liefern anstatt sich nur zu entschuldigen, kannst du versuchen, das Modell mit Fragen zu konfrontieren, die explizit nach Erklärungen oder Begründungen fragen, wie zum Beispiel "Warum denkst du, dass das die richtige Antwort ist?" oder "Kannst du erklären, wie du zu diesem Schluss gekommen bist?". Wenn das Modell sich immer noch entschuldigt, obwohl es tatsächlich richtig liegt, kannst du Feedback geben, das die Anregung korrigiert, anstatt die Entschuldigung des Modells anzunehmen. Dadurch kann das Modell lernen, dass es nicht immer notwendig ist, sich zu entschuldigen, und dass klare Erklärungen hilfreicher sein können.

Schließlich ist es wichtig zu beachten, dass maschinelle Lernmodelle nicht perfekt sind und Einschränkungen oder Vorurteile haben können. Es ist wichtig, sich dieser Einschränkungen bewusst zu sein und das Modell im Laufe der Zeit durch die Integration von vielfältigeren Trainingsdaten und die Verfeinerung des Trainingsprozesses weiter zu verbessern.