大模型手写代码练习路线
Activation Checkpointing· 中等 🟡 中等 — 用计算换内存，训练大模型必备
原题Mixed Precision Training Step· 中等 🟡 中等 — FP16 前向 + FP32 权重，loss scaling
原题LoRA (Low-Rank Adaptation)· 中等 🟡 中等 — 低秩分解微调，最重要的 PEFT 方法
原题QLoRA· 困难 🔴 困难 — 量化 + LoRA，4-bit 显存运行大模型
原题Prefix Tuning 前缀微调· 中等 🟡 中等 — 软提示词，冻结主干只训 prefix
原题INT8 Quantized Linear· 困难 🔴 困难 — 量化基础，理解 scale/zero-point
原题Bradley-Terry Reward Model Loss· 中等 🟡 中等 — 偏好对比损失，RLHF 奖励模型训练
原题KL 惩罚（RLHF）· 简单 🟢 简单 — 防止策略偏离参考模型
原题PPO Clipped Loss· 中等 🟡 中等 — ratio clip 目标，RLHF 阶段经典算法
原题DPO Loss· 中等 🟡 中等 — 无需奖励模型的偏好对齐，简洁优雅
原题
暂无题目