Budur, şifrələmə üçün bayt cütlüyü kodlaşdıran bir qarışıqlıq, bu konsepsiya nədən ibarətdir?
Bayte Cüt kodlaşdırma (BPE) və ya Digram Coding, ardıcıllıqla ardıcıllıqla baş verməyən bir bayt ilə ən çox görülən bir sıra ilə dəyişdirilmiş bir bayt ilə əvəz olunduğu sadə və möhkəm bir məlumat sıxılma formasıdır.Orijinal məlumatların yenidən qurulması üçün əvəzlənmələrin bir axtarış masası tələb olunur.Alqoritm ilk dəfə 1994-cü ilin fevral ayında Philip Gage tərəfindən açıq şəkildə təsvir edilmişdir.

Texnikanın bir variantı, bir neçə təbii dil emalı (NLP) domenlərində, Google-un hökmü və Openai'nin GPT-3-də göründüyü kimi, tokenizasiya kimi tətbiqlər üçün faydalı olduğunu göstərdi.Burada məqsəd, məlumatların sıxılması deyil, müəyyən bir ölçülü bir lüğətin dəyişkən bir lüğətini dəyişən bir ardıcıllıq əldə etmək üçün mətnin tokenizasiyasıdır.Tipik olaraq, əksər sözlər tək bir əlamət kimi kodlanacaq, nadir sözlər isə bir neçə ayələr ardıcıllığı kimi kodlanacaq, burada bu tokenlərin mənalı söz hissələrini təmsil edir.Mətnin ayələrini ayələrdəki bu tərcüməsi, subord vahidləri kimi bayt cüt kodlaşdırma variantları ilə tapıla bilər.

Bayte cüt kodlaşdırılması sadəliyi və sürəti səbəbindən NLP tapşırıqlarına borc verir;BPE, şərtlərin tokenizasiyası üçün uyğun təsirli, böyük hesablama yerləri tələb etmir və ardıcıl olaraq qalır, bunu etibarlı hala gətirir.
Byte cütlüyü üçün alternativ bir istifadə, sıxılma əlavə olaraq kodlaşdırma tokenizasiya olardı.Tokenizasiya, NLP vəzifələrində sadəlik və sürət üçün sözlərin işarələrini kodlaşdırmaq üçün təbii dil emalında istifadə edilə bilər.