深度学习基础汇编
【模型性能提升技巧】了解的用于模型性能提升（涨点）的实验trick。 「百度」
原题【深层Transformer问题】多层Transformer叠加之后会出现哪些问题？ 「字节跳动」
原题什么是灾难性遗忘？从模型和外置角度说明。加辅助任务能提升主任务，会不会引起灾难性遗忘？
微调过程中出现过拟合、灾难性遗忘的原因及解决方案。
原题完整原题
【灾难性遗忘】什么是灾难性遗忘？从模型和外置角度说明。加辅助任务能提升主任务，会不会引起灾难性遗忘？微调过程中出现过拟合、灾难性遗忘的原因及解决方案。 「腾讯、蚂蚁集团、阿里通义」
【训练NaN原因】模型训练过程中nan的原因可能有哪些？ 「阿里巴巴」
原题【训练不收敛排查】模型训练不收敛怎么办？ 「京东」
原题【辅助损失系数调整】Auxiliary loss系数怎么调？ 「百度」
原题另外，请说明BN和LN的区别及适用场景，以及梯度爆炸问题、残差连接和模型参数初始化的相关内容。
过拟合是什么？如何判断和缓解过拟合？
欠拟合和loss震荡的原因和解决方法是什么？
另外，请说明BN和LN的区别及适用场景，
梯度爆炸问题
残差连接
模型参数初始化的相关内容。
原题完整原题
【过拟合与欠拟合】过拟合是什么？如何判断和缓解过拟合？欠拟合和loss震荡的原因和解决方法是什么？另外，请说明BN和LN的区别及适用场景，以及梯度爆炸问题、残差连接和模型参数初始化的相关内容。 「拼多多、腾讯、阿里巴巴」
【过拟合与验证集指标】训练 loss 持续下降，但验证集指标不涨，甚至线上效果变差，应优先排查什么? 「字节跳动」
原题【过拟合缓解方法】在模型训练或微调阶段出现过拟合时，有哪些常用的缓解方法？请列举多个。在训练深度神经网络时，除了学习率衰减，还有哪些常用的优化策略或技巧来防止过拟合并提升泛化能力？ 「字节跳动、美团、蚂蚁集团」
原题【Loss设计与自适应权重】项目中Loss是怎么设计的，知不知道一些自适应的调loss权重的方法？ 「美团」
原题
暂无题目