Kannst du bitte erklären, wie Open Assistant funktioniert? Ich suche speziell nach einer Diskussion darüber, wie das Modell trainiert wird und wie die Modellarchitektur aussieht. Zweitens würde ich mich über eine Beschreibung der Beweggründe freuen, warum Open Assistant erstellt wurde.
Sicher, Open Assistant ist ein Open-Source-Assistent, der nach der Trainingsmethodik des instruct-gpt-Papiers erstellt wurde. Ziel ist es, einen Assistenten bereitzustellen, der Aufgaben versteht, mit Systemen von Drittanbietern interagiert und dynamisch Informationen aus dem Internet abruft.

Das für die Erstellung von Open Assistant verwendete Modell ist ein großes Sprachmodell, bestehend aus einem Encoder, Embeddings und einem Decoder, die der Transformer-Architektur folgen.

Das Modell wird in den folgenden Phasen trainiert:

1. Sammeln von Demonstrationsdaten: In dieser Phase werden menschliche Demonstrationen gesammelt. Die Demonstrationen werden in einer Datenstruktur namens Konversationsbaum gesammelt. Der Konversationsbaum enthält Eingabeaufforderungen, Assistentenantworten und die von der Community bereitgestellte Bewertung für jeden Knoten des Baums. Zusätzliche Daten werden von Websites wie Quora, StackOverflow und entsprechenden Subreddits gesammelt.

2. Feinabstimmung eines Basismodells: Ein Basismodell wird dann mithilfe des gesammelten Datensatzes feinabgestimmt.

3. Trainieren eines Belohnungsmodells: In dieser Phase wird eine Eingabeaufforderung und mehrere Datenantworten ausgewählt, die Antworten werden von am besten bis am schlechtesten bewertet. Das Belohnungsmodell wird mithilfe der bewerteten Antworten trainiert.

4. Optimieren einer Richtlinie gegenüber dem Belohnungsmodell: Die Ausgabe des Belohnungsmodells wird als skalare Belohnung verwendet, um das in Schritt 2 generierte Modell feinzustimmen.

Open Assistant wurde erstellt, um allen einen Zugang zu einem großartigen, auf Chat basierenden Sprachmodell zu ermöglichen. Es wurde im gleichen Geist wie stable-diffusion erstellt. Das Ziel von Open Assistant ist es, die Welt zu verbessern, indem eine offene, vereinheitlichende Plattform bereitgestellt wird, mit der alle anderen Systeme leicht mit Menschen interagieren können.

Ich hoffe, diese Antwort hilft Ihnen weiter. Lassen Sie mich wissen, wenn Sie weitere Fragen haben!