<s>[INST] یہاں انکرپشن کے لیے بائٹ پیئر انکوڈنگ کے بارے میں ایک بلرب ہے، اس تصور کے کمپریشن کے علاوہ کیا فوائد ہیں؟بائٹ پیئر انکوڈنگ[1][2] (BPE) یا ڈیگرام کوڈنگ[3] ڈیٹا کمپریشن کی ایک سادہ اور مضبوط شکل ہے جس میں ایک ترتیب میں ڈیٹا کے ملحقہ بائٹس کے سب سے عام جوڑے کو بائٹ سے بدل دیا جاتا ہے جو نہیں ہوتا ہے۔ تسلسل کے اندر اصل ڈیٹا کو دوبارہ بنانے کے لیے متبادلات کی تلاش کی میز درکار ہے۔ الگورتھم کو پہلی بار عوامی طور پر فلپ گیج نے فروری 1994 کے مضمون ڈیٹا کمپریشن کے لیے ایک نیا الگورتھم C یوزرز جرنل میں بیان کیا تھا۔

تکنیک کی ایک قسم نے کئی قدرتی لینگویج پروسیسنگ (NLP) ڈومینز میں، ٹوکنائزیشن جیسی ایپلی کیشنز کے لیے کارآمد ثابت کیا ہے، جیسا کہ Google کے SentencePiece[5] اور OpenAI کے GPT-3 میں دیکھا گیا ہے۔[6] یہاں، مقصد ڈیٹا کمپریشن نہیں ہے، بلکہ کسی دی گئی زبان میں متن کی ٹوکنائزیشن ہے تاکہ ٹوکنز کی ایک مقررہ سائز کے الفاظ سے اصطلاحات کی متغیر ترتیب تیار کی جا سکے۔ عام طور پر، زیادہ تر الفاظ کو ایک ہی ٹوکن کے طور پر انکوڈ کیا جائے گا، جبکہ نایاب الفاظ کو چند ٹوکنز کی ترتیب کے طور پر انکوڈ کیا جائے گا، جہاں یہ ٹوکن معنی خیز الفاظ کے حصوں کی نمائندگی کرتے ہیں۔ ٹوکنز میں متن کا یہ ترجمہ بائٹ پیئر انکوڈنگ کی مختلف شکلوں سے پایا جا سکتا ہے، جیسے ذیلی الفاظ کی اکائی۔[7]

بائٹ پیئر انکوڈنگ اپنی سادگی اور رفتار کی وجہ سے خود کو NLP کاموں کے لیے قرض دیتا ہے۔ بی پی ای شرائط کے ٹوکنائزیشن کے لیے مناسب طور پر موثر ہے، اسے بڑے کمپیوٹیشنل اوور ہیڈز کی ضرورت نہیں ہے، اور اسے قابل اعتماد بناتے ہوئے مستقل رہتا ہے۔ [/INST] BPE کے دوسرے فوائد شامل ہیں:

۔ اسکالیبل: BPE الگورتھم کمپیوٹر سے کم میموری استعمال کرتا ہے جس سے اسے اسکالیبل بناتا ہے۔

۔  فشن پرستی: BPE المفاہمت کی جانچ پڑتال (spell checking) وغیرہ میں کلمات کے مختلف شکلوں کی شناخت کرے گا۔

۔  پارسنگ کی آسانی: پارسنگ میں BPE متن کو قابل استعمال صورت میں ترجمہ کرے گا۔

۔  تجربہ: BPE نئے تجربے کے لیے استعمال کیا جا سکتا ہے۔

۔  حفاظت: BPE کا استعمال کنٹرول حفاظت اسکیموں میں بھی کرنا ممکن ہوتا ہے۔ </s>