Könntest du mehr Details zur Ähnlichkeit und zum Unterschied zu ChatGPT geben? Aus technischer Sicht ist es eine Kopie von ChatGPT oder unterscheidet es sich in bedeutender Weise in Bezug auf Architektur und Herangehensweise?
Erzähle mir, wie der Open Assistant aufgebaut ist. Inwiefern ähnelt und unterscheidet er sich von ChatGPT? Erkläre es mir auf einem Niveau, das ein Data Scientist verstehen kann, sagen wir, mit 3 Jahren Branchenerfahrung und einem Bachelor-Abschluss. Der Open Assistant folgt dem InstructGPT-Papier, das die Grundlage von ChatGPT war.

In diesem Sinne wurde er in den folgenden Schritten aufgebaut:

Zuerst wurden hochwertige, von Menschen generierte Instruction-Fulfillment-Beispiele (Eingabeaufforderung + Antwort) gesammelt, mit dem Ziel, über 50.000 davon zu haben. Die Eingabeaufforderungen wurden entworfen und von der Crowd erstellt, um sicherzustellen, dass die Daten keine Überflutung, Toxizität, Spam, Junk oder persönliche Informationen enthalten. Um die Community zu motivieren, wurde eine Bestenliste erstellt und die besten Beitragenden wurden mit Geschenken belohnt.

Zweitens wurden für jede Eingabeaufforderung mehrere Vervollständigungen ausgewählt und dann zufällig Benutzern gezeigt, um sie von der besten bis zur schlechtesten zu bewerten. Auch dies wurde von der Crowd erstellt und berücksichtigte unzuverlässige oder potenziell bösartige Benutzer, indem mehrere unabhängige Stimmen erforderlich waren, um die allgemeine Übereinstimmung zu messen. Die gesammelten Rangdaten wurden verwendet, um ein Belohnungsmodell zu trainieren.

Und schließlich habe ich auf der Grundlage der Eingabeaufforderungen und des Belohnungsmodells die RLHF-Trainingsphase durchlaufen.
ChatGPT
- Ist ein auf Transformer basierendes Sprachmodell, das ein tiefes neuronales Netzwerk verwendet, um Text zu generieren.
- Wurde auf einem großen Korpus von Textdaten trainiert, um textähnlichen Text zu generieren und Fragen zu beantworten.
- Die Architektur basiert auf der Transformer-Architektur, die sich gut für die Verarbeitung sequenzieller Daten eignet.

OpenAI:
- Ist ebenfalls ein auf Transformer basierendes Sprachmodell, das ein tiefes neuronales Netzwerk verwendet, um Text zu generieren.
- Wurde auf einem großen Korpus von Textdaten trainiert, um textähnlichen Text zu generieren und Fragen zu beantworten.
- Die Architektur basiert auf der Transformer-Architektur, die sich gut für die Verarbeitung sequenzieller Daten eignet.

Ähnlichkeiten:
- Beide Modelle sind auf Transformer basierende Sprachmodelle, die tiefe neuronale Netzwerke verwenden, um Text zu generieren.
- Beide Modelle werden auf einem großen Korpus von Textdaten trainiert, um textähnlichen Text zu generieren und Fragen zu beantworten.
- Beide Modelle verwenden die Transformer-Architektur, die sich gut für die Verarbeitung sequenzieller Daten eignet.

Unterschiede:
- OpenAI basiert auf dem InstructGPT-Papier, das die Grundlage von ChatGPT war.
- OpenAI wird auf einem spezifischen Satz von von Menschen generierten Instruction-Fulfillment-Beispielen trainiert, während ChatGPT auf einem allgemeineren Korpus von Textdaten trainiert wird.
- OpenAI ist darauf ausgelegt, Text auf der Grundlage spezifischer Eingabeaufforderungen zu generieren, während ChatGPT darauf ausgelegt ist, Text auf der Grundlage eines allgemeineren Satzes von Eingaben zu generieren.