Attention 为什么除以根号 d_k，不这样缩放还有什么替代方案？

知识专题：Transformer 与注意力题目类型：原理机制技术难度：进阶相关面经：1 篇收录题集：1 份

暂无参考答案

未标记

本题目录

相关面经

1 篇

快手

2026-05-09面经合集

查看原面经 →

延伸问题

Attention 公式中除以根号 d_k 的作用是什么？如果不除以它，是否有其他替代方案？

收录题集

1 份

八股集锦（高频问题）

小熊饼干_ · 个人整理 · 收录 1 道

查看题集 →

为什么自注意力计算要除$$\sqrt{d_k} $$