Wie wirkt ein LLM?
Die aktuelle Generation von KI-Modellen sind in der Regel zu einem Transformator neuronalen Netzwerken, die auf einem großen Korpus von Text ausgebildet werden. Der Text wird in "Tokens" aufgeteilt, die Sequenzen von Zeichen, die in der Regel zusammen gesehen werden, zB: `["Div", "ided", " up", "wie", "dies", "."` ` Und die Tokens sind eine Zahl gegeben, mit niedrigeren Zahlen häufiger: `[24095, 1384, 510, 588, 428, 13] ` Das Netzwerk wird eine feste Länge Sequenz dieser Zahlen immer und immer während eines "Training"-Prozesses. Neural Netzwerk-Training besteht im Allgemeinen aus einer Kette von Matrix-Multiplikationen, wo die Zahlen von einigen Ausgabe-Stufen und einige "Gewichte" in dieser Phase kombiniert werden. Die Gewichte beginnen als zufällige Zahlen und werden kontinuierlich angepasst, um ein Ziel zu erfüllen. Die Gesamtform des Netzes, wie die Stufen verbunden sind, wird das Modell Wort "Architektur" genannt, verschiedene Architekturen hinzufügen.