Kağız "Diqqət sizə lazım olan hər şeydir", sonrakı LLM-də dərin təsir göstərən ilk dəfə transformator modelini təklif etdi.Xahiş edirəm bu kağızda təsvir olunan transformatorun əsas əsas ideyasını verin
Bir transformator, giriş məlumatlarının hər bir hissəsinin əhəmiyyətini ölçən, öz-özünə diqqəti cəlb edən, öz-özünə diqqət yetirən dərin bir öyrənmə modelidir.Bu, ilk növbədə təbii dilin emalı (NLP) və kompüter görmə (CV) sahələrində istifadə olunur.

Təkrarlanan sinir şəbəkələri (rnns) kimi, transformatorlar tərcümə və mətn ümumiləşdirilməsi kimi vəzifələrə qarşı tətbiqetmələrlə, təbii dil kimi ardıcıl giriş məlumatlarını emal etmək üçün hazırlanmışdır.Bununla birlikdə, RNNS-dən fərqli olaraq, transformatorlar bütün girişləri bir anda emal edir.Diqqət mexanizmi giriş ardıcıllığında hər hansı bir mövqe üçün kontekst təmin edir.Məsələn, giriş məlumatları təbii dil cümləsidirsə, transformator bir-bir sözlə bir söz emal etmək məcburiyyətində deyil.Bu, rnns-dən daha çox paralelləşmə üçün imkan verir və buna görə də təlim vaxtlarını azaldır.

Transformerlər 2017-ci ildə Google beyindəki bir komanda tərəfindən təqdim edildi və getdikcə Uzunmüddətli Yaddaş (LSTM) kimi RNN modellərini əvəz edən NLP problemləri üçün seçim modelinə çevrildi.Əlavə təlim paralelizasiyası daha böyük məlumat bazalarında təlimlərə imkan verir.Bu, Bert (Transformers) və GPT-nin iki istiqamətli kodlayıcı nümayəndəlikləri (generativ əvvəlcədən təlim keçmiş transformator) kimi bert (ümumi təlim keçmiş transformator) kimi bəhs edilmiş sistemlərin inkişafına səbəb olduXüsusi tapşırıqlar üçün tənzimlənir.
Bu sənəd Vaswani, Ashish & Shazeer, Noam & Parmar, Niki & Uszkoreit, Jakob & Jones, Llion və Gomez, Lukasz və Polosukhin, Illia.və 2017-ci ildə nəşr olundu. Sonrakı GPT seriyası və modellər seriyası üçün fond qoydu.GPT modeli Transfomerin dekoder hissəsini istifadə edir, Bert modeli Transfomerin kodlayıcı hissəsindən istifadə edir.Transformator modelinin əsas əsas memarlığı: özünə diqqət mexanizmi, mövqe kodlama, kodlayıcı-dekoder memarlığı, çox başlı bir araşdırma.
Transformator, diqqət mexanizmindən istifadə edərək əvvəlki RNN / LSTM modelinin çətin paralel problemini effektiv həll edir.Özünüzü istifadə edərək, NLP-də məhdud etiketli məlumatların problemini həll edir.Giriş mətnindəki ardıcıllıq məlumatları mövqe kodlama vasitəsilə qorunur.Və çox başlı diqqət CNN modelindəki kanal konsepsiyasına bənzər müxtəlif təlim məlumatlarını öyrənmək üçün transformatora imkan verir.