手写 RoPE,并通过位置插值支持超过训练长度的上下文。

未标记

Sorry o(╥﹏╥)o,暂无参考答案。带这道题,问问AI吧~

问 AI
本题目录

相关面经

1 篇

MiniMax

AI 应用开发
实习一面
查看原面经 →
题目:用 numpy 实现 RoPE 的旋转变换。然后加一个要求:模型训练长度 2048,现在要推理 8192,用位置插值做外推,把实现补上,并说清楚两种做法的差别。
追问
推理时 q 和 k 用了不同的 scale,attention score 会怎么样?

相关题目

4 题