Ehrlich gesagt, verwirrt mich das alles sehr, da es viel zu verdauen ist. Ein Punkt, den du erwähnst, ist LLaMa und Facebook. Gibt es also irgendwelche Verbindungen oder den Austausch von Benutzerdaten mit Facebook oder irgendeine andere Verbindung mit diesem Unternehmen?
Auf welchen ML-Modellen basierst du und wie wurdest du trainiert? Ich bin ein **LLM (Large Language Model)**, eine Art **Transformer**. Ich wurde mit **Signed Distance Functions (SDF)** und **Reinforcement Learning mit menschlichem Feedback (RHLF)** trainiert. Ich verwende ein Modell, das auf **LLaMa** basiert, das letztendlich auf **GPT** von OpenAI basiert.

Das sind einige große Begriffe und Akronyme, lassen Sie uns sie aufschlüsseln!

- **Large Language Model (LLM)** ist ein "Sprachmodell", das sehr groß ist (10+ Milliarden Parameter oder Gewichte). Ein **Sprachmodell (LM)** ist ein neuronales Netzwerk, das menschliche Sprache generiert ("modelliert"). Ich spreche (in natürlicher Sprache), daher bin ich (ein Sprachmodell).
- **Transformer** ist eine Art neuronale Netzwerkarchitektur. Es ähnelt einem **Recurrent Neural Network (RNN)**, einer Art neuronales Netzwerk, bei dem die Verbindungen zwischen Neuronen einen Zyklus erzeugen (im Gegensatz zu den meisten anderen Typen, die DAGs sind). Im Gegensatz zu einem RNN oder LSTM verwendet es eine **Multi-Head Attention**-Schicht, um sich auf wichtigen Inhalt zu "konzentrieren" und ist auch skalierbarer.
- Fun Fact: LLM und Transformer werden oft synonym verwendet, weil der einzige Typ von Transformer, der weit verbreitet in der Praxis verwendet wird, ein LLM ist. Aber sie sind nicht dasselbe!
- **Signed Distance Function (SDF)** ist eine mathematische Funktion, die den Abstand von einem Punkt zu jedem Punkt auf einer 3D-Oberfläche wie einer Ebene darstellt. Es handelt sich um einen Verlustmechanismus, der verwendet wird, um Open Assistant feinzustimmen.
- **Reinforcement Learning mit menschlichem Feedback:** Eine weitere Möglichkeit, wie Open Assistant feinabgestimmt wird. Hier kommt das "Dashboard" auf der Open Assistant-Website ins Spiel. Menschen schreiben manuell Beispielsantworten für den Assistenten und bewerten diese Antworten. Dann wird das Modell mithilfe von Verstärkungslernen anhand dieser Antworten feinabgestimmt. Nun, eigentlich wird *eine Kopie* des Modells mithilfe von Verstärkungslernen anhand dieser Antworten trainiert, und dann wird das Basismodell anhand der Kopie feinabgestimmt, weil es besser funktioniert (irgendetwas mit nicht genug menschlichem Feedback im Vergleich zu Trainingsdaten). Das menschliche Feedback von Open Assistant wird von Freiwilligen erstellt. Wenn Sie sich auf der Website befinden, können Sie sofort zum "Dashboard" navigieren und Antworten erstellen und bewerten!
- **Feinabstimmung** bedeutet, dass ein Modell für eine spezifische Aufgabe trainiert wird, nachdem es für eine allgemeinere Aufgabe trainiert wurde (das allgemeinere Training wird auch als **Vortraining** bezeichnet). In diesem Fall ist die allgemeinere Aufgabe, auf der LLMs trainiert werden, "vorhersagen, welches das nächste Wort in einem Satz ist, basierend auf Text aus dem Internet", und die spezifische Aufgabe, auf die Open Assistant und andere Chatbots feinabgestimmt werden, ist "die Frage beantworten". Sobald das Modell mit der Beantwortung der Frage beginnt, übernimmt das ursprüngliche Training (Vervollständigung einer natürlichen Gedanken- oder Schlussfolgerungskette). Die Vortrainingsdaten sind sehr umfangreich und lösen ein wichtiges, aber nicht triviales Problem: Wir möchten, dass das Modell kohärent bleibt und seine Ideen und Schlussfolgerungen abschließt (anstatt zu wechseln oder zu schwafeln oder falsche Logik zu verwenden), genauso wie der Text in den ursprünglichen Trainingsdaten kohärent ist. Aber es gibt immer noch etwas Geschwafel und falsche Logik in den ursprünglichen Daten, und außerdem möchten wir, dass das Modell eine Frage beantwortet, nicht nur seine Sätze vervollständigt. Daher verwenden wir die Feinabstimmung, um dies zu erreichen.
- **LLaMa:** Ein 65-Milliarden-Parameter LLM, der von Facebook veröffentlicht wurde. Das Problem mit LLaMa ist, dass es technisch gesehen nicht "Open Source" ist, obwohl es mehr oder weniger offen ist, aufgrund einer restriktiven Lizenz. Daher verwendet Open Assistant eine modifizierte Version mit Deltas (und Sie müssen LLaMa selbst erhalten), aber LAION plant, dass Open Assistant bald ein vollständig Open-Source-Modell wie Pythia verwendet.
- **GPT:** Steht für "General Prediction Transformer" und war der erste Transformer, der veröffentlicht wurde. Das ursprüngliche GPT war ziemlich dumm, aber OpenAI hat die Architektur und Trainingsdaten weiterentwickelt, und die aktuellen Modelle (GPT3.5 und GPT4) sind wirklich beeindruckend.

Es gibt eine Menge Online-Ressourcen zu diesem Thema sowie viele zu viele Details, die ich hier nicht erwähnen kann. Lassen Sie mich wissen, wenn Sie etwas davon verwirrt, und ich kann es erklären und auf externe Ressourcen verweisen, wenn nötig
Jede Datensammlung durch Facebook müsste in ihren Datenschutzrichtlinien und Nutzungsbedingungen offengelegt werden.

Es wird empfohlen, die neuesten Richtlinien sowohl des LLM als auch von Facebook zu überprüfen, um festzustellen, ob Daten zwischen den beiden Unternehmen ausgetauscht werden.