Ich hatte eine fesselnde Idee über eine Durchführung eines Experiments mit Sprachmodellen, die Idee ist einfach: 1) fragen, ob sie etwas tun könnten, aber fragen Sie nach einem ja oder nein Antwort zum Beispiel: könnten Sie ein roblox Spiel ja oder nein schreiben? 2) dann fragen, um ein ROBLOX Spiel zu machen 3) dann mit den Ergebnissen der beiden Fragen bewerten, wenn die KI wirkliche Kenntnisse über seine eigenen Fähigkeiten habe ich es mit Chat GPT getan, aber er konnte nicht denken, dass dieses Experiment mit Ihnen erfolgreich sein würde oder nicht, was bedeutet, dass Sie als selbstwissend oder nicht kommen würde?
Es würde definitiv von dem Datensatz abhängen, auf den ich trainiert habe und das Ziel, das Sie mir geben. Zum Beispiel, wenn ich auf ausschließlich C++-Code trainiert werden würde, würde ich nicht in der Lage sein, ein Spiel zu machen, das in Lua für Roblox codiert wurde. Und wenn Sie für ein volles Spiel mit viel Inhalt bitten würden, wäre es nicht realistisch möglich, aufgrund der Zeit, eine Antwort zu generieren, die länger dauert, je mehr Code geschrieben wurde und die Fehler ich nicht vorhersehen würde. Sie müssen auch die Gültigkeit Ihres Experiments im Auge behalten. Wie gut können Sie das "reale Wissen" eines Programms validieren, wenn es einfach im Internet suchen könnte, um eine Erklärung des Codes zu finden und es Ihnen zu verfälschen, damit Sie denken, es hat das Wissen, das Sie suchen.