真面经，好答案。面试之前，先来面栈。

Transformer 与注意力

本分类共 8 个专题 · 1061 道题

已筛选

共 67 道题

排序：

4845
手写 Grouped-Query Attention（GQA）。
模型基础与推理Transformer 与注意力
代码题
进阶
暂无面经5 份题集
4846
手写用于因果语言建模的 Transformer Decoder。
模型基础与推理Transformer 与注意力
代码题
进阶
暂无面经4 份题集
4856
Attention 相比传统 Seq2Seq 的固定向量编码解决了什么问题？
模型基础与推理Transformer 与注意力
比较选型
基础
暂无面经2 份题集
4857
Attention 中如何屏蔽 Padding 位置，为什么应在 Softmax 前处理？
模型基础与推理Transformer 与注意力
原理机制
基础
暂无面经6 份题集
4858
Attention 与全连接层的计算方式有什么区别？
模型基础与推理Transformer 与注意力
比较选型
进阶
暂无面经1 份题集
4863
点积注意力与加性注意力有什么区别，为什么 Transformer 采用点积？
模型基础与推理Transformer 与注意力
比较选型
进阶
暂无面经3 份题集
5210
Ring Attention 如何通过跨设备分块计算扩展长序列注意力？
模型基础与推理Transformer 与注意力
原理机制
深入
暂无面经3 份题集
5211
QK-Norm 如何控制注意力分数尺度，与 FlashAttention 的优化目标有何不同？
模型基础与推理Transformer 与注意力
原理机制
进阶
暂无面经2 份题集
5224
为什么混合使用递归状态与全局注意力，两者如何互补？
模型基础与推理Transformer 与注意力
原理机制
深入
暂无面经3 份题集
5228
Dual Chunk Attention 如何通过分块位置处理扩展长上下文？
模型基础与推理Transformer 与注意力
原理机制
深入
暂无面经1 份题集