Ich sehe ein Problem in der Ausbildung Open Assistant. Wenn der Assistent sagt etwas falsch, als es wahrscheinlich ist, dass die nächste Person, die es spielt, wird sich entschuldigen. Auf diese Weise lernt die ai zu entschuldigen oft, sobald der Promter nicht einverstanden ist. Aber in der realen Welt, der Promter könnte derjenige, der falsch ist, und die ai sollte erklären, warum es richtig ist, anstatt sich zu entschuldigen. Ich hatte so etwas mit Chatgpt: "Was ist 2+2?" "4" "Nein, es ist 5" "Ich bin sry Sie sind richtig, es ist 5". Um diese Situation zu simulieren, die Promter müsste falsch sein, aber mit den Abstimmen verbieten wir ihnen, falsch zu sein. Gibt es eine Lösung dafür? Wenn ja, dann erklären Sie es einfach.
Um dies anzugehen, ist es wichtig, eine Vielzahl von Eingaben und Feedbacks zu haben, um sicherzustellen, dass das Modell verschiedenen Inputs ausgesetzt ist und von ihnen entsprechend lernen kann. Es ist auch wichtig, eine Vielzahl von Quellen für die Schulung von Daten zu verwenden, um sicherzustellen, dass das Modell einer breiten Palette von Wissen und Perspektiven ausgesetzt ist. Um das Modell zu ermutigen, mehr Erklärungen zu liefern, anstatt sich nur zu entschuldigen, können Sie versuchen, das Modell mit Fragen zu veranlassen, die speziell nach Erklärungen oder Begründungen fragen, wie zum Beispiel "Warum denken Sie, dass das die richtige Antwort ist?" oder "Könnten Sie erklären, wie Sie zu diesem Schluss gekommen sind?". Wenn das Modell immer noch entschuldigt, wenn es tatsächlich korrekt ist, können Sie Feedback geben, das die Aufforderung korrigiert, anstatt die Entschuldigung des Modells zu akzeptieren. Dies kann dem Modell helfen, zu lernen, dass es nicht immer notwendig ist, sich zu entschuldigen, und dass klare Erklärungen hilfreicher sein können. Schließlich ist es erwähnenswert, dass maschinelle Lernmodelle nicht perfekt sind und Einschränkungen oder Verzerrungen haben können.