真面经，好答案。面试之前，先来面栈。

Transformer 与注意力

本分类共 8 个专题 · 1061 道题

已筛选

共 67 道题

排序：

4681
稀疏注意力如何降低计算复杂度，常见连接模式有哪些？
模型基础与推理Transformer 与注意力
原理机制
进阶
暂无面经8 份题集
4687
Transformer 为什么通常使用 LayerNorm 而不是 BatchNorm？
模型基础与推理Transformer 与注意力
比较选型
进阶
暂无面经9 份题集
4696
如何分析 Transformer 各模块的 FLOPs 及其随序列长度的变化？
模型基础与推理Transformer 与注意力
原理机制
深入
暂无面经11 份题集
4697
线性注意力的基本原理是什么，它有哪些适用边界？
模型基础与推理Transformer 与注意力
原理机制
深入
暂无面经3 份题集
4737
手写 Self-Attention。
模型基础与推理Transformer 与注意力
代码题
进阶
暂无面经8 份题集
4758
手写支持掩码和 KV Cache 的 Multi-Query Attention。
模型基础与推理Transformer 与注意力
代码题
深入
暂无面经3 份题集
4760
用 PyTorch 实现 Transformer 的逐位置 FFN。
模型基础与推理Transformer 与注意力
代码题
进阶
暂无面经1 份题集
4801
Encoder-only、Decoder-only 与 Encoder-Decoder 架构有什么区别？
模型基础与推理Transformer 与注意力
比较选型
进阶
暂无面经16 份题集
4805
滑动窗口注意力如何工作，有哪些计算与信息保留边界？
模型基础与推理Transformer 与注意力
原理机制
进阶
暂无面经2 份题集
4806
什么是 Attention Sink，它如何影响流式长序列推理？
模型基础与推理Transformer 与注意力
原理机制
进阶
暂无面经2 份题集