返回全部题目← 上一题26 / 136下一题 →题库/模型训练与对齐/Q-4673大模型训练常用哪些优化器，AdamW 与 Adam 有什么区别？知识专题：训练框架、调参与排障题目类型：比较选型技术难度：进阶收录题集：19 份暂无参考答案未标记未标记待复习已掌握收藏询问 AI选择 AI 平台KimiKimi（新窗口打开）Qwen千问（新窗口打开）OpenAIChatGPT（新窗口打开）自动带入当前题目本题目录收录题集相关题目收录题集19 份编码题专题汇编阿东玩 AI · AgentGuide · 1 条原题查看题集 →【Adam、公式｜L1】写出adam计算公式。 「字节跳动」机器学习基础汇编阿东玩 AI · AgentGuide · 3 条原题查看题集 →【动量累计】动量SGD的动量可以看做是什么的累计？ 「阿里巴巴」【优化器原理与对比】请介绍你知道的优化器，并展开说说你常用的优化器及其原理。包括：SGD、Adam、AdamW的区别和改进？请对比SGD、Adam和AdamW优化器，说明它们之间的关系与区别，并阐述从SGD到Adam的发展历程和各自的思路。请详细解释Adam优化器的原理，包括其存储的信息（一阶动量、二阶动量）、动态调整学习率的机制、计算公式（写出Adam计算公式）以及公式中每一项的含义和作用。 「京东、字节Seed、字节跳动、百度、美团、腾讯、阿里巴巴、阿里通义」【梯度下降算法比较】请详细解释梯度下降算法的原理，并比较随机梯度下降(SGD)、小批量梯度下降(Mini-batch GD)和动量法(Momentum)的优缺点及适用场景。 「蚂蚁集团」深度学习基础汇编阿东玩 AI · AgentGuide · 4 条原题查看题集 →【Adam优化器公式】优化器了解吗，adam公式 「字节跳动」【优化器选择与调整】你了解哪些优化器么？Adagrad，Adam你在什么情况下会去调整优化器？ 「腾讯」参数初始化与损失函数针对这个场景介绍你知道的优化器，展开其余 1 条原题【优化器对比】为什么大模型训练大多用Adam，而不用SGD，二者有什么区别？ 「京东」理论基础面试题阿东玩 AI · AgentGuide · 1 条原题查看题集 →大模型训练中常用的优化器有哪些？AdamW 和 Adam 的区别是什么？快手高频面试题Rocky Ding · AIGC-Interview-Book · 1 条原题查看题集 →介绍一下神经网络的优化器有哪些。展开剩余 14 份题集联想高频面试题Rocky Ding · AIGC-Interview-Book · 2 条原题查看题集 →SGD、Adam、动量优化的SGD？Adam和动量优化的SGD效率上的区别？趣玩科技高频面试题Rocky Ding · AIGC-Interview-Book · 1 条原题查看题集 →关于梯度下降的sgdm,adagrad，介绍一下。深度学习核心概念Rocky Ding · AIGC-Interview-Book · 2 条原题查看题集 →梯度下降的变体有哪些（SGD、Momentum、RMSProp、Adam）？各自的优缺点是什么？Adam优化器的原理是什么？为什么它在大多数深度学习任务中表现优异？深度学习精华·机器学习基础Rocky Ding · AIGC-Interview-Book · 1 条原题查看题集 →学习率调度、权重衰减、梯度裁剪和混合精度为什么决定训练稳定性？深度学习精华·训练与优化Rocky Ding · AIGC-Interview-Book · 4 条原题查看题集 →权重衰减（Weight Decay）与 L2 正则的关系是什么？为什么 Adam 优化器中二者不等价？AdamW 中是如何实现的？优化器的本质原理是什么？简述从 SGD 到 AdamW 的核心发展脉络，各阶段分别解决了什么问题？SGD、Adam、AdamW 三者各有什么优缺点？为什么大模型预训练与微调几乎都用 AdamW？深度学习场景下如何选型？展开其余 1 条原题目前 AIGC 场景（大模型、扩散模型）常用的优化器有哪些？选型的核心依据是什么？优化方法Rocky Ding · AIGC-Interview-Book · 1 条原题查看题集 →深度学习中有哪些经典的优化器？训练与评估Rocky Ding · AIGC-Interview-Book · 1 条原题查看题集 →权重衰减（Weight Decay）和L2正则化的关系是什么？在实际使用中需要注意什么？预训练：训练与数据处理Rocky Ding · AIGC-Interview-Book · 1 条原题查看题集 →大语言模型预训练中如何选择优化器？跨周期技术拆解Rocky Ding · AIGC-Interview-Book · 1 条原题查看题集 →优化器与低精度为什么必须和架构一起设计？数学基础高频考点Rocky Ding · AIGC-Interview-Book · 1 条原题查看题集 →SGD、Momentum、AdaGrad、RMSProp、Adam、AdamW 有什么区别？计算机视觉基础Datawhale · daily-interview · 1 条原题查看题集 →除了SGD和Adam之外，你还知道哪些优化算法？机器学习基础与优化Datawhale · daily-interview · 1 条原题查看题集 →描述⼀下 SGD, Adagrad, Adam 算法之间的区别，什么时候使⽤ SGD？ Adagrad？ Adam 算法？模型与 NLP 基础Firefly · llm_interview_note · 1 条原题查看题集 →常用参数更新方法训练、数据与模型优化：从数据清洗到 LoRAOnefly · zero2Agent · 1 条原题查看题集 →SFT 应如何选择优化器？相关题目4 题0100项目中的强化学习框架是如何搭建的？同一知识专题题目类型：项目深挖技术难度：深入相关面经：2 篇0101verl 中的 Agent Loop 如何实现？同一知识专题题目类型：原理机制技术难度：进阶相关面经：1 篇0276训练正常而离线评测骤降时，如何定位链路问题？同一知识专题题目类型：故障排查技术难度：深入相关面经：1 篇0381资源受限的微调中，如何判断学习率过高或过低？同一知识专题题目类型：故障排查技术难度：进阶相关面经：1 篇♥♥♥♥♥← 上一题已到最后一题← 上一题有哪些方法可以提高大模型微调的训练速度？下一题 →GRPO 训练 MoE 模型时可能出现哪些问题，应如何定位和改进？
