根据这段 positional embedding，单词的位置与线性关系不具备旋转性质。这就解释了为什么Sch创造出肇始的Rotary positional Embedding（RoPE）。 在传统的Transformer中，由于模型的对称性使得模型本性无法捕捉单词间的位置关系，这就限制了其理解序列依赖的能力。RoPE 则引入了旋转矩阵来精确刻画位置信息，模型于是可以通过“比对”任意两个位置向量来直观地推断出它们之间的相对距离。这样，RoPE不仅修补了Transformer对位置信息有效处理的漏洞，还显著提高了模型处理长文本的能力。请尽量使表达更通俗一些。
user
在传统的Transformer模型中，单词的位置和顺序无法被直接理解，因为模型本身没有捕捉位置信息的功能。这限制了模型理解句子中词语相互关系的能力。为解决这个问题，Sch提出了旋转位置编码（RoPE）。RoPE引入了一种特殊的旋转矩阵，可以准确表示每一个词的位置。这样一来，模型通过比较任意两个词的位置信息，就能直观地知道它们之间的距离是多远，从而更好地理解句子结构。这样不仅解决了Transformer在处理位置信息上的不足，也大大增强了它处理长文本的能力。
assistant