深度学习精华·训练与优化
权重衰减（Weight Decay）与 L2 正则的关系是什么？为什么 Adam 优化器中二者不等价？AdamW 中是如何实现的？
原题不同正则化方法分别适用于什么场景？实际训练中如何选型与组合使用？
原题学习率 warmup 的核心目的是什么？常用的 warmup 方式有哪些？如何设计 warmup 策略？
原题工业界常用的学习率组合策略是什么？大模型训练中为什么普遍采用「线性 warmup + 余弦退火」？
原题有哪些常用的学习率调优方法？LR Finder 的核心原理是什么？
原题优化器的本质原理是什么？简述从 SGD 到 AdamW 的核心发展脉络，各阶段分别解决了什么问题？
原题SGD、Adam、AdamW 三者各有什么优缺点？为什么大模型预训练与微调几乎都用 AdamW？深度学习场景下如何选型？
原题目前 AIGC 场景（大模型、扩散模型）常用的优化器有哪些？选型的核心依据是什么？
原题模型训练中训练集、验证集、测试集的作用分别是什么？有哪些划分原则与常见的落地方式？
原题AIGC 场景（大模型微调、文生图扩散模型）的数据集划分和传统判别任务有什么区别？有哪些特殊注意事项？
原题
暂无题目