🔥🔥 位置编码有哪几种？具体介绍了ROPE

常见追问

• 讲一下 RoPE ,目前常用的位置编码还有哪些， Ro PE 有什么优点
• 介绍transformer的位置编码，为什么这么设计，为什么可以达到位置编码的效果，编码了相对位置还是绝对位置；介绍RoPE
• Transformer 的位置编码方式有哪些?RoPE 的核心思想是什么?

常见公司