वास्वानी, आशिष आणि शाझीर, नोम आणि परमार, निकी आणि उझकोरेत, याकोब आणि जोन्स, लियोन आणि गोमेझ, आयडन आणि कैसर, लुकाझ आणि पोलोसुखिन, इलिया यांनी हा लेख 2017 मध्ये प्रकाशित केला होता. त्यानंतरच्या जीपीटी मॉडेल मालिका आणि बीईआरटी मॉडेल मालिकेचा तो पाया होता. जीपीटी मॉडेल ट्रान्सफॉर्मरचा डिकोडर भाग वापरते, तर बीईआरटी मॉडेल ट्रान्सफॉर्मरचा एन्कोडर भाग वापरते. ट्रान्सफॉर्मर मॉडेलच्या मुख्य कोर आर्किटेक्चरमध्ये हे समाविष्ट आहेः सेल्फ-एटेंशन मेकॅनिझम, पोझिशनल एन्कोडिंग, एन्कोडर-डेकोडर आर्किटेक्चर, मल्टी-हेड एटेंशन. ट्रान्सफॉर्मरने आधीच्या आरएनएन / एलएसटीएम मॉडेलची कठीण समांतर समस्या प्रभावीपणे सोडविली आहे. आत्म-ध्यान वापरणे एनएलपीमध्ये मर्यादित लेबल केलेल्या डेटाची समस्या सोडवते. इनपुट मजकूरातील अनुक्रमाची माहिती पोझिशनल एन्कोडिंगद्वारे जतन केली जाते. आणि मल्टि-हेड अॅटेन्शनमुळे ट्रान्सफॉर्मरला सीएनएन मॉडेलमधील चॅनल संकल्पनेसारख्या प्रशिक्षण डेटाचे वेगवेगळे नमुने शिकता येतात.
"Attention is all you need" या पेपरमध्ये प्रथमच ट्रान्सफॉर्मर मॉडेलचा प्रस्ताव ठेवण्यात आला, ज्याचा त्यानंतरच्या एलएलएमवर खोलवर परिणाम झाला. कृपया या पेपरमध्ये वर्णन केलेल्या ट्रान्सफॉर्मरची मुख्य मूलभूत कल्पना द्या
Context:ट्रान्सफॉर्मर हे एक डीप लर्निंग मॉडेल आहे जे स्वयं-लक्ष देण्याची यंत्रणा स्वीकारते, इनपुट डेटाच्या प्रत्येक भागाचे महत्त्व वेगळ्या प्रकारे वजन करते. याचा वापर प्रामुख्याने नैसर्गिक भाषा प्रक्रिया (एनएलपी) आणि संगणक दृष्टी (सीव्ही) या क्षेत्रात केला जातो.  पुनरावृत्ती न्यूरल नेटवर्क (आरएनएन) प्रमाणे, ट्रान्सफॉर्मर्स अनुक्रमे इनपुट डेटावर प्रक्रिया करण्यासाठी डिझाइन केलेले आहेत, जसे की नैसर्गिक भाषा, अनुवाद आणि मजकूर सारांश सारख्या कार्ये दिशेने अनुप्रयोगांसह. मात्र, आरएनएनच्या विपरीत, ट्रान्सफॉर्मर्स संपूर्ण इनपुटवर एकाच वेळी प्रक्रिया करतात. लक्ष यंत्रणा इनपुट क्रमातील कोणत्याही स्थानासाठी संदर्भ प्रदान करते. उदाहरणार्थ, जर इनपुट डेटा नैसर्गिक भाषेचा वाक्यांश असेल तर ट्रान्सफॉर्मरला एका वेळी एका शब्दावर प्रक्रिया करण्याची गरज नाही. यामुळे आरएनएनपेक्षा अधिक समांतरता शक्य होते आणि त्यामुळे प्रशिक्षण वेळ कमी होतो.  गूगल ब्रेनच्या एका टीमने २०१७ मध्ये ट्रान्सफॉर्मर्स सादर केले आणि ते एनएलपी समस्यांसाठी निवडण्याचे मॉडेल बनत आहेत, जे आरएनएन मॉडेल जसे की लांब अल्पकालीन स्मृती (एलएसटीएम) बदलतात. अतिरिक्त प्रशिक्षण समांतरता मोठ्या डेटासेटवर प्रशिक्षण देण्यास अनुमती देते. यामुळे पूर्व प्रशिक्षित प्रणाली जसे की बीईआरटी (ट्रान्सफॉर्मर्सचे द्विदिश एन्कोडर प्रतिनिधित्व) आणि जीपीटी (जनरेटिव्ह प्री-ट्रेन्ड ट्रान्सफॉर्मर) विकसित झाली, ज्यांना विकिपीडिया कॉर्पस आणि कॉमन क्रॉल सारख्या मोठ्या भाषेच्या डेटासेटसह प्रशिक्षित केले गेले आणि विशिष्ट कार्यांसाठी बारीक-ट्यून केले जाऊ शकते.