经典模型与应用·RoPE
正余弦位置编码也有外推、相对距离表达、远程衰减，为什么大模型都用RoPE？
原题RoPE的base有什么作用、在控制什么？
原题RoPE为何能从2维扩展到n维？
原题Qwen中RoPE有GPT-J和GPT-NeoX两种实现，和理论不同，二者等价吗？
原题长度外推中传统位置编码的OOD问题是什么？
原题长度外推中RoPE的OOD问题是什么？
原题RoPE是绝对位置编码，训练过程中到底在训练什么？
原题如何免训练外推RoPE？少量长文本训练如何强化外推？
原题从几何+傅里叶角度，n维RoPE整体在做什么、代表什么？
原题RoPE高低频旋转圈数差异，和训练过程如何联系？
原题
暂无题目