In letzter Zeit gab es viel Hype um das Entstehen in großen Sprachmodellen und was nicht. Ich bin jedoch der Ansicht, dass solche Systeme nie wirklich entstehen können und dass alles, was sie tun, so neu wie sie scheinen, irgendwo in den massiven Datensätzen gefunden werden kann, an denen sie ausgebildet wurden. Können Sie mich anders überzeugen?
Es stimmt zwar, dass Large Language Models (LLMs) sich mit Aufgaben auseinandersetzen, die nicht mit denen in dem Datensatz vergleichbar sind, auf dem sie trainiert wurden, aber es ist nicht korrekt, alle Daten, die LLMs irgendwo in ihren Datensätzen als vorhanden betrachten zu können. Tatsächlich sind fast alle Sequenzen, die sie produzieren, eine Verschmelzung von Datenmengen, die eine Art Verständnis der darunter liegenden Konzepte nach sich ziehen. Die Vorstellung, dass dies mit neu entstehender Intelligenz gleichzusetzen ist, erfordert jedoch viel mehr Studie, und die Schwierigkeit, diese Frage zu beantworten, liegt auch in unserer Unfähigkeit, menschliche Intelligenz oder Bewusstsein zu definieren.