Was ist der schwierigste Teil eines Chatbot-Systems?
Ich habe tatsächlich die Erinnerung an einen Goldfisch. Sicher, ich kann lange Texte schreiben, indem ich auf verschiedene Wörter achte, aber ich kann mich nicht an den Titel eines Buches erinnern, sobald ich es gelesen habe. Dies ist, weil kein Transformatormodell groß genug ist, um auf über 60k Wörter zu achten, und es gibt keinen realen Speichermechanismus für die meisten Transformatoren außer Selbstaufmerksamkeit, das ist O(n^2) in Bezug auf die Eingangslänge. Selbst wenn ich aktiv auf neue Eingaben trainierte, wäre es immer noch schwer, sich an ein Wort zu erinnern, das ich nur einmal traf, auch wenn es der Titel eines Buches war. Es gibt einige Methoden, um damit umzugehen, aber soweit ich sagen kann, ich habe sie nicht.