大模型手写代码练习路线
MoE Load Balancing Loss· 中等 🟡 中等 — 防止 expert collapse 的辅助损失
原题Focal Loss· 中等 🟡 中等 — 解决类别不平衡，检测模型常用
原题Multi-Token Prediction Loss· 中等 🟡 中等 — Meta LLaMA-3 的 MTP 预训练目标
原题Adam Optimizer· 中等 🟡 中等 — 现代 LLM 训练标配，一阶+二阶矩
原题AdamW 优化器· 中等 🟡 中等 — 解耦权重衰减，比 Adam+L2 更正确
原题线性学习率预热· 简单 🟢 简单 — 训练初期防梯度爆炸
原题Cosine LR Scheduler with Warmup· 中等 🟡 中等 — LLM 训练标配调度策略
原题EMA 指数移动平均· 简单 🟢 简单 — 模型权重平滑，推理性能更稳定
原题Gradient Norm Clipping· 简单 🟢 简单 — 防梯度爆炸，稳定训练必备
原题Gradient Accumulation· 简单 🟢 简单 — 模拟大 batch size，显存受限时必用
原题
暂无题目