Liste die Top 5 wegnehmen aus dem Sehenswürdigkeitenpapier "Achtung ist alles, was Sie brauchen".
1. Sie schlagen die Transformer-Modellarchitektur vor, die ausschließlich auf Aufmerksamkeitsmechanismen zur Berechnung von Darstellungen ihrer Eingabedaten beruht. Sie entfernt die wiederkehrenden oder konvolutionären Schichten, die in früheren Modellen vorherrschen. 2. Die Aufmerksamkeitsmechanismen ermöglichen es jeder Position in der Eingabesequenz, sich um alle Positionen in der Ausgabesequenz zu kümmern, so dass sie globale Abhängigkeiten erfassen kann. Dies macht das Modell leistungsfähiger als frühere Architekturen. 3. Der Transformer erzielt modernste Ergebnisse in maschineller Übersetzung, übertrifft frühere rezidivierende und konvolutionäre Modelle. Dies demonstrierte das Potenzial von auf Aufmerksamkeit basierenden Modellen. 4. Das Papier popularisierte den Aufmerksamkeitsmechanismus und trieb weitere Arbeiten an, die Aufmerksamkeit auf verschiedene Probleme in NLP und anderen Bereichen zu richten. Aufmerksamkeitsmechanismen werden heute weit verbreitet in Deep-Learning-Modellen verwendet. 5. Das Papier ist eine einflussreiche Arbeit, die das Feld zu Berücksichtigungs-basierten Modellen bewegte und weitere Forschungen in Richtung machtvolleren Modellen mit dem Aufmerksamkeitsmechanismus motivierte. Es hat über 28.000 Zitate bis heute.