深度学习基础汇编
【优化器对比】为什么大模型训练大多用Adam，而不用SGD，二者有什么区别？ 「京东」
原题【优化器类型】有哪些类型，如SWA等？ 「字节Seed」
原题【在线学习梯度连续性】模型一个时刻出一个点，并立刻根据这一点做一次反向传播，这不会导致T-1时刻和T时刻的梯度是断开的？ 「字节跳动」
原题原题未给具体递归模型、计算图或跨时刻更新边界。
【多损失权重平衡】（追问）如何平衡不同损失项的权重？ 「腾讯」
原题【多损失设计理由】你们项目里用了多个loss比如MSE + Contrastive Loss + KL 散度为什么这么设计？ 「腾讯混元」
原题【学习率与Batch调整】学习率如何设置？学习率如何调整，batch大小如何调整？ 「阿里巴巴」
原题【小模型训练调整】学习训练小模型需要做出哪些改变？ 「腾讯」
原题【梯度检查原理】梯度检查什么原理？ 「腾讯」
原题【梯度消失与爆炸缓解】在训练深度模型（如Transformer、大模型）时，如何缓解梯度消失和梯度爆炸问题？请结合具体方法（如残差连接、层归一化、梯度裁剪、初始化策略等）进行说明。 「字节Seed、百度、腾讯、阿里巴巴」
原题【梯度稳定方法】有什么方法使得梯度更加稳定？ 「字节跳动」
原题
暂无题目