Wie funktioniert ein LLM?
Aktuelle Generationen großer Sprachmodelle sind in der Regel Transformator-Neuronen-Netzwerke, die auf einem großen Textkorpus trainiert werden. Der Text wird in "Tokens" aufgeteilt, die Sequenzen von Zeichen sind, die normalerweise zusammen auftreten, z.B.:

`["Div", "ided", " up", " like", " this", "."]`

Und den Tokens wird eine Zahl zugewiesen, wobei niedrigere Zahlen häufiger vorkommen:

`[24095, 1384, 510, 588, 428, 13]`

Das Netzwerk erhält eine Sequenz fester Länge dieser Zahlen immer wieder während eines "Trainings"-Prozesses. Das Training neuronaler Netze besteht im Allgemeinen aus einer Kette von Matrixmultiplikationen, bei der die Zahlen aus einer Ausgabestufe und einige "Gewichte" an dieser Stufe kombiniert werden. Die Gewichte beginnen als zufällige Zahlen und werden kontinuierlich angepasst, um ein bestimmtes Ziel zu erreichen. Die Gesamtstruktur des Netzwerks, wie die Stufen miteinander verbunden sind, wird als "Architektur" des Modells bezeichnet. Unterschiedliche Architekturen haben unterschiedliche Eigenschaften, aber die allgemeine Idee besteht darin, eine Architektur zu haben, die eine inkrementelle Anpassung der Gewichte zur Erreichung eines Trainingsziels ermöglicht.

Wie erwähnt, verwenden aktuelle LLMs eine Transformator-Architektur. Ohne auf Details wie Aufmerksamkeit, Encoder, Decoder, Maskierung usw. einzugehen, besteht das Trainingsziel eines LLM darin, zu erraten, welches Token wahrscheinlich als Nächstes kommt, basierend auf den vorherigen Tokens.

Nach dem Training haben wir ein Programm, das das nächste Wortteil erraten kann, basierend auf einer Liste von vorherigen Wortteilen. Indem wir etwas wie dies eingeben:

```markdown
Dies ist ein Gespräch zwischen einer freundlichen KI und einem Menschen.

Mensch: Hallo
KI: Hallo, wie kann ich Ihnen helfen?
Mensch: 
```

und den Text des Benutzers am Ende hinzufügen, können wir nacheinander Tokens generieren, bis es "Mensch: " ausgibt, und einen Dialog simulieren. Aber eigentlich erkunden wir nur wahrscheinliche Sätze basierend auf Wahrscheinlichkeit und den Trainingsdaten.

Dies ist eine leistungsstarke Methode, um relevante Fakten aus den Daten zu extrahieren, aber es ist nur ein Bruchteil dessen, wozu diese Modelle tatsächlich in der Lage sind, sowohl Gutes als auch Schlechtes.