优化方法题集来源：Rocky Ding（WeThinkIn）收录项目：AIGC-Interview-Book查看原题集 题目目录34 道原题隐藏关联题目排序默认排序面经最多11什么是超参数？有哪些常用的超参数？原题 关联题目模型参数与超参数有什么区别？模型基础与推理 / 机器学习与推荐系统概念解释基础0篇相关面经12如何寻找到最优超参数？原题 关联题目如何选择超参数搜索方法，并比较效果与计算成本？模型基础与推理 / 机器学习与推荐系统比较选型进阶0篇相关面经13Spectral Normalization的相关知识原题 关联题目谱归一化如何约束网络权重，对训练稳定性有什么作用？模型训练与对齐 / 训练框架、调参与排障原理机制深入0篇相关面经14什么是EMA?原题 关联题目模型参数平均中的 EMA 与 SWA 如何工作，有哪些使用条件？模型训练与对齐 / 训练框架、调参与排障原理机制进阶0篇相关面经15深度学习中有哪些经典的优化器？原题 关联题目大模型训练常用哪些优化器，AdamW 与 Adam 有什么区别？模型训练与对齐 / 训练框架、调参与排障比较选型进阶0篇相关面经16深度学习中常用的学习率衰减策略有哪些？原题 关联题目预训练如何选择 warmup、余弦退火及动态学习率调度？模型训练与对齐 / 训练框架、调参与排障比较选型进阶1篇相关面经17什么是方向导数原题 关联题目导数、偏导、梯度、Jacobian 与 Hessian 有什么关系？模型基础与推理 / 机器学习与推荐系统概念解释进阶0篇相关面经18什么是梯度原题 关联题目导数、偏导、梯度、Jacobian 与 Hessian 有什么关系？模型基础与推理 / 机器学习与推荐系统概念解释进阶0篇相关面经19为什么沿梯度方向是函数变化最快的方向？原题 关联题目梯度下降如何更新参数，步长与收敛条件有何关系？模型训练与对齐 / 训练框架、调参与排障原理机制进阶0篇相关面经20T5LayerNorm和LayerNorm的区别是什么？原题 关联题目RMSNorm 与 LayerNorm 有什么差异？模型基础与推理 / 模型架构与表示比较选型进阶1篇相关面经暂无题目共 34 道原题 · 显示 11–20 道展开全部34题上一页12342 / 4下一页