真面经，好答案。面试之前，先来面栈。

Transformer 与注意力

本分类共 8 个专题 · 1155 道题

已筛选

共 71 道题

排序：

3656
Self-Attention 的时间复杂度是多少，如何推导？
模型基础与推理Transformer 与注意力
原理机制
进阶
1 篇面经3 个题集来源
3701
Transformer 编码器与解码器中的注意力机制有什么区别？
模型基础与推理Transformer 与注意力
比较选型
基础
暂无面经4 个题集来源
3702
Decoder 自注意力为什么需要因果掩码，具体如何实现？
模型基础与推理Transformer 与注意力
原理机制
进阶
暂无面经4 个题集来源
3704
交叉注意力与自注意力有什么区别？
模型基础与推理Transformer 与注意力
比较选型
基础
暂无面经4 个题集来源
4591
Softmax 是什么，在 Transformer 的哪些位置使用？
模型基础与推理Transformer 与注意力
原理机制
基础
1 篇面经3 个题集来源
4592
LayerNorm 在 Transformer 中有什么作用，通常放在哪里？
模型基础与推理Transformer 与注意力
原理机制
进阶
暂无面经4 个题集来源
4687
Transformer 为什么通常使用 LayerNorm 而不是 BatchNorm？
模型基础与推理Transformer 与注意力
比较选型
进阶
1 篇面经3 个题集来源
3703
多头注意力为什么要降低每个 Head 的维度？
模型基础与推理Transformer 与注意力
原理机制
进阶
暂无面经3 个题集来源
3754
为什么 Attention 能建模长距离依赖？
模型基础与推理Transformer 与注意力
原理机制
进阶
暂无面经3 个题集来源
4594
Transformer 与 RNN 在建模长距离依赖时有什么区别？
模型基础与推理Transformer 与注意力
比较选型
进阶
暂无面经3 个题集来源