返回全部题目← 上一题96 / 137下一题 →题库/模型基础与推理/Q-5571Softmax 如何利用平移不变性进行数值稳定计算？知识专题：模型架构与表示题目类型：原理机制技术难度：进阶相关面经：2 篇题集来源：3 个暂无参考答案未标记未标记待复习已掌握收藏问AI选择 AI 平台KimiKimi（新窗口打开）Qwen千问（新窗口打开）OpenAIChatGPT（新窗口打开）自动带入当前题目反馈（在 GitHub 新标签页打开）本题目录相关面经收录题集相关题目相关面经2 篇字节跳动推荐大模型算法岗2026-11-01一面、二面查看原面经 →Softmax 发生数值溢出，该如何处理睿芯算子开发工程师2026-10-09一面查看原面经 →softmax 如何防溢出？收录题集3 个来源，共3 份题集深度学习基础汇编阿东玩 AI · AgentGuide · 4 条原题查看题集 →Softmax函数Softmax计算时指数上溢如何解决？防止数据溢出的公式是什么？【Softmax数值稳定性】如果softmax的e次方超过float的值了怎么办？ 「腾讯混元」注意力机制与多头注意力 介绍Transformer中的注意力机制，包括：注意力机制的基本概念、公式（Q、K、V）及直观理解，为什么除以√dk，为什么减去max_x（数值稳定），Softmax后与V相乘的过程。展开其余 1 条原题【Attention缩放因子】在Transformer的Multi-Head Attention中，计算attention分数时为什么要除以√d_k（或√d）？请从两个方向回答：一是解释除以√d_k如何防止softmax数值上溢/下溢，二是说明其与方差稳定性的关系。同时，请给出attention公式，并说明softmax的作用。 「京东、美团、腾讯、腾讯混元、阿里巴巴」深度学习核心概念Rocky Ding · AIGC-Interview-Book · 1 条原题查看题集 →Softmax的数值稳定性问题是什么？工程实现中如何避免上溢和下溢？训练、数据与模型优化：从数据清洗到 LoRAOnefly · zero2Agent · 1 条原题查看题集 →Softmax 如何通过数值稳定技巧防止溢出？相关题目4 题0208Chat Template、System Prompt 和训练形成的行为先验有什么关系？同一知识专题题目类型：比较选型技术难度：进阶相关面经：1 篇0279MoE 负载均衡损失与专家路由塌缩有什么关系，如何稳定路由？同一知识专题题目类型：故障排查技术难度：进阶相关面经：2 篇0511熟悉哪些大模型，它们的结构有何不同？同一知识专题题目类型：比较选型技术难度：进阶相关面经：6 篇0571Qwen3 与 BGE 编码模型原理是什么，Qwen3 编码模型如何训练？同一知识专题题目类型：原理机制技术难度：进阶相关面经：2 篇♥♥♥♥♥← 上一题已到最后一题← 上一题Llama 1、2、3 的架构、训练和能力如何演进？下一题 →常见轻量化 CNN 如何设计，部署时有哪些取舍？
