Attention 为什么除以根号 d_k，不这样缩放还有什么替代方案？
暂无参考答案
带着这道题，问问 AI
选择平台，携带当前题目继续提问。
问 AI
Kimi · 千问 · ChatGPT
本题目录
相关面经
5 篇
字节跳动
推荐大模型算法岗一面、二面
Attention 为什么要除以 \sqrt{d_k}？不除会出现什么现象，对Softmax输出和梯度有什么影响
京东
大模型算法工程师一面
注意力机制基础问题：除以根号dk的原因、时间复杂度、多头注意力的意义。
百度
多模态算法岗一面、二面
详解自注意力Self-Attention底层原理；延伸提问：注意力分数除以根号d的核心原因、多头注意力相较于单头注意力的核心优势
腾讯
大模型算法岗一面、二面
缩放点积注意力的底层原理是什么？
快手
面经合集
Attention 公式中除以根号 d_k 的作用是什么？如果不除以它，是否有其他替代方案？
收录题集
公司案例问答汇编
深度学习基础汇编
Self-Attention原理与QKV
注意力机制与多头注意力 介绍Transformer中的注意力机制，包括：
展开其余 5 条原题
缩放因子原因
Scaled Dot-Product Attention
Transformer与Attention
携程高频面试题
京东高频面试题
attention常规八股
