深度学习基础汇编
【PCGrad】介绍PCGrad，效果如何，为什么会产生这样的效果？ 「美团」
原题【多任务Loss平衡】多任务 loss 加权:uncertainty weighting / GradNorm / DWA 各自适用场景。多任务学习各loss差异过大怎样处理？包括多任务loss平衡方式、回归损失主导训练时的处理、如何考虑loss weight。 「字节跳动、百度、美团、腾讯、腾讯混元」
原题【多任务冲突解决】单模型覆盖多个任务，怎么解决任务冲突/trade-off？ 「蚂蚁集团」
原题【多模态过拟合解决】请举例说明你如何解决多模态模型的过拟合问题。 「蚂蚁集团」
原题【大模型训练优化难题】大模型训练过程中常见的优化难题有哪些？ 「字节Seed」
原题【梯度爆炸分析】某一层的attention中出现梯度爆炸，该怎么去分析原因？ 「字节跳动」
原题【模型容量与训练诊断】怎么判断堆叠参数后效果不好是因为model的bound还是训练方式不对？ 「百度」
原题【知识蒸馏实现】手写知识蒸馏。 「字节跳动」
原题题签仅写“手写知识蒸馏”，未给损失接口或完整训练流程；当前保留可识别的蒸馏损失实现目标。
【训练策略改进】觉得现在的一些训练策略有什么可改进的没有？ 「字节Seed」
原题【负载均衡损失函数】如何通过修改损失函数来解决负载均衡问题？ 「蚂蚁集团」
原题
暂无题目