जीपीटी -3 द्वारे लोकप्रिय केलेल्या प्रॉमप्टिंग पॅराडाइममध्ये, सोडविली जाणारी समस्या मजकूर प्रॉमप्टद्वारे तयार केली जाते, जी मॉडेलने पूर्ण (निष्कर्षाद्वारे) प्रदान करून सोडवावी. "फॉर-शॉट प्रॉम्प्टिंग" मध्ये, प्रॉम्प्टमध्ये समान (समस्या, समाधान) जोड्यांची थोडीशी उदाहरणे समाविष्ट आहेत.
मोठ्या भाषेच्या मॉडेलबद्दलच्या या परिच्छेदांना दिले तर, प्रॉम्प्टिंग पॅराडाइम काय आहे?
Context:मोठ्या भाषेचे मॉडेल (एलएलएम) हे एक भाषा मॉडेल आहे ज्यामध्ये अनेक मापदंड (सामान्यतः अब्जावधी वजन किंवा त्याहून अधिक) असलेले न्यूरल नेटवर्क असते, जे स्वयं-पर्यवेक्षित शिक्षणाचा वापर करून मोठ्या प्रमाणात लेबल नसलेल्या मजकूरावर प्रशिक्षित केले जाते. एलएलएम 2018 च्या सुमारास उदयास आले आणि ते विविध प्रकारच्या कार्यांमध्ये चांगले काम करतात. यामुळे नैसर्गिक भाषा प्रक्रियेच्या संशोधनाचे लक्ष विशिष्ट कामांसाठी विशेषीकृत पर्यवेक्षित मॉडेल्सच्या प्रशिक्षणाच्या मागील नमुन्यापासून दूर गेले आहे.  गुणधर्म जरी मोठ्या भाषेच्या मॉडेलला औपचारिक व्याख्या नसली तरी, हे सहसा डीप लर्निंग मॉडेलला संदर्भित करते ज्यात अब्जावधी किंवा त्याहून अधिक पॅरामीटरची संख्या असते. एलएलएम हे सामान्य हेतूचे मॉडेल आहेत जे एका विशिष्ट कामासाठी प्रशिक्षित करण्याऐवजी (जसे की भावना विश्लेषण, नामांकित अस्तित्व ओळखणे किंवा गणितीय तर्कशास्त्र) विविध कार्यांमध्ये उत्कृष्ट आहेत. ज्या कौशल्याने ते कार्ये पूर्ण करतात, आणि ज्या कार्यांमध्ये ते सक्षम आहेत, ते त्यांच्याकडे असलेल्या संसाधनांच्या संख्येचे (डेटा, पॅरामीटर-आकार, संगणकीय शक्ती) कार्य असल्याचे दिसते, अशा प्रकारे जे डिझाइनमध्ये अतिरिक्त प्रगतीवर अवलंबून नाही.  एखाद्या वाक्यातील पुढील शब्दाचा अंदाज लावण्याच्या मार्गावर सोप्या कार्यांवर प्रशिक्षित असले तरी, पुरेसे प्रशिक्षण आणि पॅरामीटर गणना असलेल्या तंत्रिका भाषेचे मॉडेल मानवी भाषेच्या संश्लेषण आणि सिमेंटिक्सचा बराच भाग पकडतात. याव्यतिरिक्त, मोठ्या भाषेचे मॉडेल जगाबद्दल महत्त्वपूर्ण सामान्य ज्ञान दर्शवितात आणि प्रशिक्षण दरम्यान मोठ्या प्रमाणात तथ्ये "स्मरणात ठेवण्यास" सक्षम असतात.  भ्रम मुख्य लेख: भ्रम (कृत्रिम बुद्धिमत्ता) कृत्रिम बुद्धिमत्तेत सर्वसाधारणपणे, आणि विशेषतः मोठ्या भाषेच्या मॉडेलमध्ये, "हल्लूसिनेशन" ही एक विश्वासार्ह प्रतिक्रिया आहे जी मॉडेलच्या प्रशिक्षण डेटाद्वारे न्याय्य असल्याचे दिसत नाही.  उदयोन्मुख क्षमता  प्रश्नांची उत्तरे देणे यासारख्या कामांचा समावेश असलेल्या अनेक नैसर्गिक भाषेच्या बेंचमार्कवर, मॉडेल काही प्रमाणात (या प्रकरणात, प्रशिक्षण संगणनाद्वारे मोजले जाते) पर्यंत यादृच्छिक संधीपेक्षा चांगले काम करत नाहीत, ज्या वेळी त्यांची कार्यक्षमता मोठ्या प्रमाणात वाढते. हे उदयोन्मुख क्षमतांचे उदाहरण आहेत. मोठ्या भाषेच्या मॉडेलमध्ये आढळलेल्या परंतु साध्या मॉडेलमध्ये नसलेल्या (आणि मॉडेलमध्ये स्पष्टपणे डिझाइन केलेले नसलेल्या) अप्रत्याशित क्षमतांना सहसा "उत्पन्न क्षमता" म्हटले जाते. [२६ पानांवरील चित्र] या क्षमता प्रोग्राम-इन किंवा डिझाइन केल्याऐवजी शोधल्या जातात, काही प्रकरणांमध्ये एलएलएम सार्वजनिकपणे तैनात केल्यानंतरच. शेकडो उदयोन्मुख क्षमतांचे वर्णन केले गेले आहे. उदाहरणार्थ, बहु-चरण अंकगणित, महाविद्यालयीन स्तरावरील परीक्षा घेणे, शब्दाचा उद्देशित अर्थ ओळखणे, विचारांची साखळी सूचित करणे, आंतरराष्ट्रीय ध्वन्यात्मक वर्णमाला डीकोडिंग करणे, शब्दाची अक्षरे स्पष्ट करणे, हिंग्लिशच्या परिच्छेदांमध्ये आक्षेपार्ह सामग्री ओळखणे (हिंदी आणि इंग्रजीचे संयोजन) आणि किस्वाहिली नीतिसूत्रे यांचे समान इंग्रजी समतुल्य तयार करणे.  आर्किटेक्चर आणि प्रशिक्षण मोठ्या भाषेच्या मॉडेलने ट्रान्सफॉर्मर आर्किटेक्चरचा वापर केला आहे, जो 2018 पासून अनुक्रमिक डेटासाठी मानक खोल शिक्षण तंत्र बनला आहे (पूर्वी, एलएसटीएम सारख्या पुनरावृत्ती आर्किटेक्चर सर्वात सामान्य होते). एल.एल.एम.ना निरिक्षण नसलेल्या पद्धतीने अननोटेड मजकूरावर प्रशिक्षण दिले जाते. डावीकडून उजवीकडे ट्रान्सफॉर्मरला प्रशिक्षण डेटामध्ये पुढील शब्दाला दिलेली संभाव्यता जास्तीत जास्त करण्यासाठी प्रशिक्षित केले जाते, मागील संदर्भ दिलेला. पर्यायाने, एक एलएलएम द्विदिशात्मक ट्रान्सफॉर्मर वापरू शकतो (जसे की बीईआरटीच्या उदाहरणाप्रमाणे), जे आधीच्या आणि पुढील दोन्ही संदर्भात प्रवेश दिलेल्या शब्दांवर संभाव्यता वितरण नियुक्त करते. पुढील शब्दाचा अंदाज लावण्याच्या किंवा "खाली जागा भरण्याच्या" कार्याव्यतिरिक्त, एलएलएमना सहाय्यक कार्यांवर प्रशिक्षित केले जाऊ शकते जे डेटा वितरणाची त्यांची समज तपासतात जसे की पुढील वाक्य अंदाज (एनएसपी), ज्यामध्ये वाक्ये जोड्या सादर केल्या जातात आणि मॉडेलने अंदाज लावावा की ते प्रशिक्षण कॉर्पसमध्ये बाजूला दिसतात की नाही.  सुरुवातीच्या एलएलएमला अब्जावधी शब्दांच्या कॉर्पोरावर प्रशिक्षण देण्यात आले होते. ओपनएआयच्या जीपीटी मालिकेतील पहिले मॉडेल 2018 मध्ये बुककॉर्पसवर प्रशिक्षित केले गेले होते, ज्यात 985 दशलक्ष शब्द होते. त्याच वर्षी, BERT ला BookCorpus आणि इंग्रजी विकिपीडियाच्या संयोजनावर प्रशिक्षण देण्यात आले, एकूण 3.3 अब्ज शब्द. त्यानंतरच्या वर्षांमध्ये, एलएलएमसाठी प्रशिक्षण संस्था मोठ्या प्रमाणात वाढल्या आहेत, शेकडो अब्ज किंवा ट्रिलियन टोकनपर्यंत पोहोचल्या आहेत.  एलएलएम प्रशिक्षण देणे संगणकीयदृष्ट्या महाग आहे. २०२० च्या अभ्यासानुसार १.५ अब्ज पॅरामीटर मॉडेल (त्या वेळी कला अवस्थेपेक्षा १-२ ऑर्डर लहान) प्रशिक्षण देण्याची किंमत १.६ दशलक्ष डॉलर्स इतकी आहे.  २०२० च्या विश्लेषणामध्ये असे आढळून आले आहे की तंत्रिका भाषेच्या मॉडेलची क्षमता (प्रशिक्षण नुकसानाने मोजली जाते) पॅरामीटर्सची संख्या, प्रशिक्षण डेटाची मात्रा आणि प्रशिक्षणासाठी वापरल्या जाणार्या संगणनासह पॉवर लॉ संबंधात सहजतेने वाढली. या संबंधांची चाचणी मोठ्या प्रमाणात (सात ऑर्डर ऑफ मॅग्निट्यूड पर्यंत) केली गेली आणि श्रेणीच्या सर्वात वरच्या टोकावर (ट्रिलियन पॅरामीटर्सपर्यंतच्या नेटवर्कच्या आकारासह) संबंध कमी झाल्याचे दिसून आले नाही.  खालच्या स्तरावरील कामांना लागू करणे २०१८ ते २०२० दरम्यान, विशिष्ट नैसर्गिक भाषा प्रक्रिया (एनएलपी) कार्यासाठी एलएलएमचा वापर करण्यासाठी मानक पद्धत म्हणजे अतिरिक्त कार्य-विशिष्ट प्रशिक्षण देऊन मॉडेलला बारीक करणे. त्यानंतर असे आढळून आले आहे की जीपीटी -3 सारख्या अधिक शक्तिशाली एलएलएम अतिरिक्त प्रशिक्षणाशिवाय "प्रॉम्प्टिंग" तंत्राद्वारे कार्ये सोडवू शकतात, ज्यामध्ये सोडविली जाणारी समस्या मॉडेलला मजकूर प्रॉम्प्ट म्हणून सादर केली जाते, शक्यतो काही मजकूर उदाहरणांसह समान समस्या आणि त्यांचे निराकरण.  बारीक ट्युनिंग मुख्य लेख: बारीक ट्युनिंग (मशीन लर्निंग) फिन-ट्यूनिंग म्हणजे एखाद्या विशिष्ट कामावर (उदाहरणार्थ, भावना विश्लेषण, नावाची संस्था ओळखणे किंवा भाषेच्या भागाचे टॅगिंग) प्रशिक्षण देऊन (पर्यवेक्षित रीतीने) विद्यमान पूर्व-प्रशिक्षित भाषा मॉडेलमध्ये बदल करण्याची प्रथा आहे. हा एक प्रकारचा हस्तांतरण शिक्षण आहे. यात सामान्यतः भाषा मॉडेलच्या अंतिम लेयरला डाउनस्ट्रीम टास्कच्या आउटपुटशी जोडणार्या वेटच्या नवीन संचाची ओळख असते. भाषेच्या मॉडेलचे मूळ वेट्स "फ्रीझ" केले जाऊ शकतात, जेणेकरून केवळ आउटपुटशी जोडणार्या वेट्सचा नवीन थर प्रशिक्षण दरम्यान शिकला जातो. पर्यायाने, मूळ वजन लहान अद्यतने प्राप्त करू शकतात (शक्यतो पूर्वीच्या थरांसह गोठविलेले).  संकेत करणे हेही पहा: त्वरित अभियांत्रिकी आणि थोड्या-शॉट शिक्षण (नैसर्गिक भाषा प्रक्रिया) जीपीटी -3 द्वारे लोकप्रिय केलेल्या प्रॉमप्टिंग पॅराडाइममध्ये, सोडविली जाणारी समस्या मजकूर प्रॉमप्टद्वारे तयार केली जाते, जी मॉडेलने पूर्ण (निष्कर्षाद्वारे) प्रदान करून सोडवावी. "फॉर-शॉट प्रॉम्प्टिंग" मध्ये, प्रॉम्प्टमध्ये समान (समस्या, समाधान) जोड्यांची थोडीशी उदाहरणे समाविष्ट आहेत. उदाहरणार्थ, एखाद्या चित्रपटाच्या पुनरावलोकनाची भावना लेबल करण्याच्या भावना विश्लेषणाचे कार्य खालीलप्रमाणे सूचित केले जाऊ शकतेः  पुनरावलोकन: हा चित्रपट वाईट आहे. भावना: नकारात्मक  पुनरावलोकन: हा चित्रपट विलक्षण आहे! भावना:  जर मॉडेल आउटपुट "सकारात्मक" असेल तर त्याने कार्य योग्यरित्या सोडवले आहे. शून्य-शॉट प्रॉमप्टमध्ये, कोणतीही सोडवणूक उदाहरणे दिली जात नाहीत. त्याच भावना विश्लेषण कार्यासाठी शून्य-शॉट प्रॉम्प्टचे उदाहरण असे असेल की "चित्रपट पुनरावलोकनाशी संबंधित भावना 'हा चित्रपट विलक्षण आहे! ".  एलएलएमच्या अल्प-शॉट कामगिरीने एनएलपी कार्यांवर स्पर्धात्मक परिणाम मिळविल्याचे दिसून आले आहे, कधीकधी मागील अत्याधुनिक ट्यूनिंग पध्दतींना मागे टाकत आहे. अशा एनएलपी कामांची उदाहरणे म्हणजे भाषांतर, प्रश्नांची उत्तरे देणे, क्लोज टास्क, शब्द अनस्क्रॅम्बल करणे आणि वाक्यामध्ये नवीन शब्द वापरणे. अशा प्रॉम्प्ट्सची निर्मिती आणि ऑप्टिमायझेशनला प्रॉम्प्ट अभियांत्रिकी म्हणतात.  निर्देश ट्युनिंग इंस्ट्रक्शन ट्युनिंग हा एक प्रकारचा सूक्ष्म-ट्यूनिंग आहे जो अधिक नैसर्गिक आणि अचूक शून्य-शॉट प्रॉम्प्टिंग परस्परसंवादास सुलभ करण्यासाठी डिझाइन केलेला आहे. मजकूर इनपुट दिल्यास, पूर्व प्रशिक्षित भाषा मॉडेल एक पूर्ण होईल जे मजकूराच्या वितरणाशी जुळते ज्यावर ते प्रशिक्षित केले गेले होते. "हॅमलेटच्या मुख्य विषयांबद्दल निबंध लिहा. " असे सूचित केलेले एक साधा भाषा मॉडेल "17 मार्चनंतर प्राप्त झालेल्या सबमिशनवर दररोज 10% उशीरा दंड लागू केला जाईल" यासारख्या पूर्णतेस प्रदान करू शकते. सूचना ट्युनिंगमध्ये, भाषा मॉडेलला योग्य प्रतिसादांसह नैसर्गिक भाषेच्या सूचना म्हणून तयार केलेल्या कार्यांच्या अनेक उदाहरणांवर प्रशिक्षित केले जाते. सूचना ट्युनिंगसाठी विविध तंत्रे प्रत्यक्षात वापरली गेली आहेत. ओपनएआयच्या इंस्ट्रक्टजीपीटी प्रोटोकॉलमध्ये मानव-निर्मित (त्वरित, प्रतिसाद) जोड्यांच्या डेटासेटवर देखरेख केलेली बारीक-ट्यूनिंग समाविष्ट आहे, त्यानंतर मानवी अभिप्राय (आरएलएचएफ) पासून मजबुतीकरण शिक्षण आहे, ज्यामध्ये मानवी पसंतीच्या डेटासेटवर आधारित बक्षीस कार्य शिकले गेले. आणखी एक तंत्र, "सेल्फ-इंस्ट्रक्ट", भाषा मॉडेलला उदाहरणांच्या प्रशिक्षण संचावर बारीक करते जे स्वतःच एलएलएमद्वारे व्युत्पन्न केले जातात (मानव-व्युत्पन्न उदाहरणांच्या लहान प्रारंभिक संचावरून बूटस्ट्रॅप केलेले).  https://en.wikipedia.org/wiki/Large_language_model