Erzählen Sie mir, wie offener Assistent aufgebaut ist. Auf welche Weise ist es ähnlich und anders zu chatten gpt? Erklären Sie es mir auf einer Ebene, die ein Datenwissenschaftler verstehen kann, sagen wir, sie haben 3 Jahre Erfahrung in der Industrie und ein Undergrad.
Open Assistant folgt dem InstructGPT-Papier, das die Grundlage von ChatGPT war. In diesem Sinne wurde es durch die folgenden Schritte aufgebaut: Erste, hochwertige, von Menschen erzeugte Instruction-Fulfillment-Proben (Prompt + Antwort) wurden gesammelt, mit dem Ziel, über 50k von ihnen zu haben. Die Aufforderungen wurden entworfen und Crowdsourced, um sicherzustellen, dass die Daten keine Überschwemmungen enthalten, giftig, Spam, Junk, oder persönliche Informationen. Um die Gemeinschaft zu motivieren, wurde eine Rangliste erstellt, und Top-Beteiligte wurden mit Schlag belohnt. Zweitens, für jede prompt wurden mehrere Fertigstellungen getestet und dann zufällig gezeigt, um die Benutzer zu ordnen, sie von besten bis schlechtesten. Dies wurde auch crowdsourced, unter Berücksichtigung unzuverlässigen oder potenziell bösartigen Benutzern durch die Forderung mehrerer unabhängiger Stimmen zur Messung der Gesamtvereinbarung. Die gesammelten Ranking-Daten wurden verwendet, um ein Belohnungmodell. Und schließlich, basierend auf den Aufforderungen und dem Belohnungsmodell, Ich unterzog die RLHF-Trainingsphase.