深度学习精华·训练与优化
什么是 Batch Size？Batch Size 过大/过小分别有什么影响？实际训练中如何选型？
原题AIGC 场景（大模型微调、扩散模型训练）下，Batch Size 的选型和传统场景有什么核心区别？有哪些特殊约束？
原题深度学习中模型参数与超参数有什么本质区别？AIGC 大模型训练中常见的核心超参数有哪些？
原题超参数调优的基本流程是什么？调优过程中有哪些核心原则？
原题常用的超参数调优方法有哪些（网格搜索/随机搜索/贝叶斯优化）？各自的优缺点与适用场景是什么？
原题AIGC 大模型/扩散模型的超参数调优和传统小模型有什么核心区别？有哪些专属的调优原则？
原题梯度消失、梯度爆炸与梯度震荡的核心区别是什么？分别是什么原因导致的？有哪些解决方法？
原题梯度裁剪（Gradient Clipping）为何能提升训练稳定性？阈值如何确定？大模型训练中有什么注意事项？
原题梯度累积（Gradient Accumulation）的核心原理是什么？和直接增大 Batch Size 有什么本质区别？有哪些适用场景？
原题混合精度训练的核心原理是什么？FP16 和 BF16 如何选择？为什么大模型训练普遍用 BF16？
原题
暂无题目