大模型手写代码练习路线
ViT Transformer Block· 困难 🔴 困难 — 视觉 Transformer 完整 Block
原题Cross-Entropy Loss· 简单 🟢 简单 — 语言模型预训练的核心损失
原题困惑度（Perplexity）· 简单 🟢 简单 — LM 标准评估指标，PPL = exp(CE)
原题KL 散度· 中等 🟡 中等 — 知识蒸馏、VAE、RLHF 中都用到
原题Label Smoothing Loss· 简单 🟢 简单 — 防过拟合的正则化技巧
原题Contrastive Loss (InfoNCE)· 中等 🟡 中等 — 对比学习基础，CLIP 前身
原题Triplet Loss· 中等 🟡 中等 — 三元组损失，嵌入模型训练
原题Token 准确率· 简单 🟢 简单 — 序列预测准确率，注意 ignore_index
原题BLEU 评分· 中等 🟡 中等 — 机器翻译标准评估，n-gram 精度
原题知识蒸馏损失· 中等 🟡 中等 — 软标签蒸馏，KL + CE 加权
原题
暂无题目