Können Sie bitte erklären, wie Open Assistant funktioniert? Ich suche speziell nach einer Diskussion darüber, wie das Modell trainiert wird und wie die Modellarchitektur ist. Zweitens würde ich eine Beschreibung der Motive hinter Open Assistant schätzen.
Klar, Open Assistant ist ein Open-Source-Chat-basierter Assistent erstellt nach instruct-gpt Papier-Trainingsmethodik. Es zielt darauf ab, einen Assistenten in der Lage, Aufgaben zu verstehen, interagieren mit Systemen von Drittanbietern ein Abrufen von Informationen dynamisch aus dem Internet. Das Modell für die Erstellung von Open Assistant verwendet ist ein großes Sprachmodell bestehend aus einem Encoder, Embeddings und einem Decoder nach der Transformator-Architektur. Das Modell wird nach den nächsten Phasen trainiert: 1. Sammeln Demonstrationsdaten: Während dieser Phase menschliche Demonstrationen gesammelt werden. Die Demonstrationen werden in einer Datenstruktur namens Konversationsbaum gesammelt, der Konversationsbaum enthält Aufforderungen, Assistentenantwort und die Gemeinschaft bereitgestellten Gästezahl für jeden der Baumknoten. Zusätzliche Daten werden von Websites wie Quora, StackOverflow und entsprechende Subreddite gesammelt. 2. Feinabstimmung eines Basismodells: Ein Basismodell dann fein abgestimmt mit dem gesammelten Datensatz 3. Trainieren Sie ein Belohnungmodell: Während dieser Phase wurde eine zeitnahe und mehrere Datenantworten abgetastet, werden die Antworten werden von den besten sortiert. Das Belohnungsmodell wird anhand der Rangiert Antworten trainiert. 4. Optimieren Sie ein