深度学习基础汇编

题集来源：阿东玩 AI（Adong）收录项目：AgentGuide查看原题集

【Q与K不同原因】为什么使用不同的K和Q，为什么不能使用同一个值？「腾讯混元」
原题
关联题目Attention 的 Q、K、V 如何由输入变换得到？模型基础与推理 / Transformer 与注意力原理机制基础3篇相关面经
121
1. Attention是什么，如何计算？
2. 请说明Multi-Head Attention (MHA) 的具体实现，以及Self-Attention的计算流程、公式和原理，
3. 如何解决长距离依赖问题？
4. 讲一下Self-Attention的实现原理，为什么要分成Q、K、V三个向量？
5. 讲一下Self-Attention的机制，进一步追问。
6. 为什么attention score要除以根号d，
7. 以及多头注意力相比单头注意力的优势？
8. QKV具体是怎么设计出来的？它们是什么，有什么区别？
关联题目多头注意力机制如何工作？模型基础与推理 / Transformer 与注意力原理机制进阶6篇相关面经关联题目Attention 的 Q、K、V 如何由输入变换得到？模型基础与推理 / Transformer 与注意力原理机制基础3篇相关面经关联题目Attention 为什么除以根号 d_k，不这样缩放还有什么替代方案？模型基础与推理 / Transformer 与注意力原理机制进阶1篇相关面经关联题目为什么 Attention 能建模长距离依赖？模型基础与推理 / Transformer 与注意力原理机制进阶0篇相关面经
完整原题
【Self-Attention原理与QKV】Attention是什么，如何计算？请说明Multi-Head Attention (MHA) 的具体实现，以及Self-Attention的计算流程、公式和原理，如何解决长距离依赖问题？讲一下Self-Attention的实现原理，为什么要分成Q、K、V三个向量？讲一下Self-Attention的机制，进一步追问。为什么attention score要除以根号d，以及多头注意力相比单头注意力的优势？QKV具体是怎么设计出来的？它们是什么，有什么区别？「京东、字节Seed、字节跳动、百度、美团、腾讯混元、阿里巴巴、阿里通义」
原题
122
1. 能先介绍一下Softmax函数吗？
  关联题目Softmax 是什么，在 Transformer 的哪些位置使用？模型基础与推理 / Transformer 与注意力原理机制基础0篇相关面经
2. 然后整体讲讲Transformer模型，特别是里面的QKV(Query, Key, Value)机制，能详细说说这个过程吗？
  关联题目Transformer 的整体原理是什么？已有答案模型基础与推理 / Transformer 与注意力原理机制进阶10篇相关面经关联题目Attention 的 Q、K、V 如何由输入变换得到？模型基础与推理 / Transformer 与注意力原理机制基础3篇相关面经
完整原题
【Softmax与QKV机制】能先介绍一下Softmax函数吗？然后整体讲讲Transformer模型，特别是里面的QKV(Query, Key, Value)机制，能详细说说这个过程吗？「阿里巴巴」
原题
【Transformer vs LSTM】LSTM能够捕获长期依赖性，Transformer是如何解决这一问题的? 「字节Seed」
原题
关联题目Transformer 与 RNN 在建模长距离依赖时有什么区别？模型基础与推理 / Transformer 与注意力比较选型进阶0篇相关面经
【Transformer vs RNN】Transformer相比RNN有什么优势？请从底层原理角度解释为什么Transformer能替代RNN，并说明两者的区别和优势。「京东、美团、蚂蚁集团、阿里巴巴」
原题
关联题目Self-Attention 为何利于并行训练，与 RNN 相比有哪些局限？已有答案模型基础与推理 / Transformer 与注意力比较选型进阶2篇相关面经
【Transformer优势与Attention动机】Transformer对比其他深度学习模型（如MLP）的优势是什么？Attention机制要解决什么问题？「美团、腾讯」
原题
关联题目Transformer 有哪些优劣势，与其他架构相比如何？已有答案模型基础与推理 / Transformer 与注意力比较选型进阶3篇相关面经
【Transformer优缺点】Transformer的优缺点？「腾讯混元」
原题
关联题目Transformer 有哪些优劣势，与其他架构相比如何？已有答案模型基础与推理 / Transformer 与注意力比较选型进阶3篇相关面经
【Transformer借鉴来源】Transformer里面哪些东西是借鉴前人工作的？「阿里通义」
原题
关联题目深度学习经历了哪些关键发展阶段，技术、数据与算力如何影响其转折？模型基础与推理 / 机器学习与推荐系统概念解释基础0篇相关面经
【Transformer层结构】Transformer层的结构是什么？请说明其forward计算包含哪些部件，并描述Transformer的架构和Transformer Block。「字节Seed、字节跳动」
原题
关联题目Transformer 的整体原理是什么？已有答案模型基础与推理 / Transformer 与注意力原理机制进阶10篇相关面经
【Transformer并行化】请谈谈Transformer是如何实现并行化计算的。「腾讯混元」
原题
关联题目Self-Attention 为何利于并行训练，与 RNN 相比有哪些局限？已有答案模型基础与推理 / Transformer 与注意力比较选型进阶2篇相关面经

题目目录

【Q与K不同原因】为什么使用不同的K和Q，为什么不能使用同一个值？ 「腾讯混元」

Attention是什么，如何计算？

请说明Multi-Head Attention (MHA) 的具体实现，以及Self-Attention的计算流程、公式和原理，

如何解决长距离依赖问题？

讲一下Self-Attention的实现原理，为什么要分成Q、K、V三个向量？

讲一下Self-Attention的机制，进一步追问。

为什么attention score要除以根号d，

以及多头注意力相比单头注意力的优势？

QKV具体是怎么设计出来的？它们是什么，有什么区别？

能先介绍一下Softmax函数吗？

然后整体讲讲Transformer模型，特别是里面的QKV(Query, Key, Value)机制，能详细说说这个过程吗？

【Transformer vs LSTM】LSTM能够捕获长期依赖性，Transformer是如何解决这一问题的? 「字节Seed」

【Transformer vs RNN】Transformer相比RNN有什么优势？请从底层原理角度解释为什么Transformer能替代RNN，并说明两者的区别和优势。 「京东、美团、蚂蚁集团、阿里巴巴」

【Transformer优势与Attention动机】Transformer对比其他深度学习模型（如MLP）的优势是什么？Attention机制要解决什么问题？ 「美团、腾讯」

【Transformer优缺点】Transformer的优缺点？ 「腾讯混元」

【Transformer借鉴来源】Transformer里面哪些东西是借鉴前人工作的？ 「阿里通义」

【Transformer层结构】Transformer层的结构是什么？请说明其forward计算包含哪些部件，并描述Transformer的架构和Transformer Block。 「字节Seed、字节跳动」

【Transformer并行化】请谈谈Transformer是如何实现并行化计算的。 「腾讯混元」

【Q与K不同原因】为什么使用不同的K和Q，为什么不能使用同一个值？「腾讯混元」

【Transformer vs RNN】Transformer相比RNN有什么优势？请从底层原理角度解释为什么Transformer能替代RNN，并说明两者的区别和优势。「京东、美团、蚂蚁集团、阿里巴巴」

【Transformer优势与Attention动机】Transformer对比其他深度学习模型（如MLP）的优势是什么？Attention机制要解决什么问题？「美团、腾讯」

【Transformer优缺点】Transformer的优缺点？「腾讯混元」

【Transformer借鉴来源】Transformer里面哪些东西是借鉴前人工作的？「阿里通义」

【Transformer层结构】Transformer层的结构是什么？请说明其forward计算包含哪些部件，并描述Transformer的架构和Transformer Block。「字节Seed、字节跳动」

【Transformer并行化】请谈谈Transformer是如何实现并行化计算的。「腾讯混元」