大模型手写代码练习路线
Implement ReLU· 简单 🟢 简单 — 最基础，理解梯度截断
原题Sigmoid 激活函数· 简单 🟢 简单 — 二分类基础，注意数值稳定性
原题GELU Activation· 简单 🟢 简单 — BERT/GPT 标配，理解 erf 近似
原题Tanh 激活函数· 简单 🟢 简单 — RNN 时代经典
原题LeakyReLU 激活函数· 简单 🟢 简单 — 解决 dying ReLU 问题
原题Implement LayerNorm· 中等 🟡 中等 — Transformer 核心组件，必须手写
原题Implement RMSNorm· 中等 🟡 中等 — LLaMA 系列标配，比 LayerNorm 更轻量
原题Implement BatchNorm· 中等 🟡 中等 — 理解 running stats 的训练/推理差异
原题Implement Softmax· 简单 🟢 简单 — 数值稳定 trick（减 max）是考点
原题Embedding Layer· 简单 🟢 简单 — 词表映射，理解 weight tying
原题Kaiming Initialization· 简单 🟢 简单 — 正确初始化是训练稳定的第一步
原题Implement Dropout· 简单 🟢 简单 — 训练/推理行为不同，逐 token 实现
原题Simple Linear Layer· 中等 🟡 中等 — 手实现 nn.Linear，理解矩阵乘法
原题因果注意力掩码· 简单 🟢 简单 — 理解为什么 GPT 需要 mask
原题Softmax Attention· 简单 🟢 简单 — 所有注意力的基础，QKV 计算
原题Causal Self-Attention· 中等 🟡 中等 — 在 Softmax Attention 上加 mask
原题Multi-Head Attention· 困难 🔴 困难 — 多头拆分与合并，完整实现
原题Sinusoidal Position Encoding· 简单 🟢 简单 — 原始 Transformer 位置编码
原题Rotary Position Embedding (RoPE)· 中等 🟡 中等 — LLaMA/Qwen 标配，旋转矩阵实现
原题Multi-Head Cross-Attention· 中等 🟡 中等 — Encoder-Decoder 架构基础
原题Grouped Query Attention· 困难 🔴 困难 — LLaMA-2/3 优化，减少 KV 参数量
原题ALiBi Attention· 中等 🟡 中等 — 位置偏置的另一种思路
原题Sliding Window Attention· 中等 🟡 中等 — Mistral 局部注意力，降低复杂度
原题Flash Attention (Tiled)· 困难 🔴 困难 — IO 感知的分块计算，必须理解
原题GLU 门控线性单元· 简单 🟢 简单 — 门控机制基础，sigmoid 作门
原题SwiGLU Activation· 中等 🟡 中等 — LLaMA FFN 标配，SiLU 门控
原题SwiGLU MLP· 中等 🟡 中等 — 完整 FFN 实现，gate/up/down 三矩阵
原题Adaptive LayerNorm Zero (adaLN-Zero)· 中等 🟡 中等 — DiT 条件归一化，扩散模型必考
原题GPT-2 Transformer Block· 困难 🔴 困难 — 完整 GPT Block，理解残差连接顺序
原题ViT Patch Embedding· 中等 🟡 中等 — 图像分块到 token，多模态基础
原题ViT Transformer Block· 困难 🔴 困难 — 视觉 Transformer 完整 Block
原题Cross-Entropy Loss· 简单 🟢 简单 — 语言模型预训练的核心损失
原题困惑度（Perplexity）· 简单 🟢 简单 — LM 标准评估指标，PPL = exp(CE)
原题KL 散度· 中等 🟡 中等 — 知识蒸馏、VAE、RLHF 中都用到
原题Label Smoothing Loss· 简单 🟢 简单 — 防过拟合的正则化技巧
原题Contrastive Loss (InfoNCE)· 中等 🟡 中等 — 对比学习基础，CLIP 前身
原题Triplet Loss· 中等 🟡 中等 — 三元组损失，嵌入模型训练
原题Token 准确率· 简单 🟢 简单 — 序列预测准确率，注意 ignore_index
原题BLEU 评分· 中等 🟡 中等 — 机器翻译标准评估，n-gram 精度
原题知识蒸馏损失· 中等 🟡 中等 — 软标签蒸馏，KL + CE 加权
原题MoE Load Balancing Loss· 中等 🟡 中等 — 防止 expert collapse 的辅助损失
原题Focal Loss· 中等 🟡 中等 — 解决类别不平衡，检测模型常用
原题Multi-Token Prediction Loss· 中等 🟡 中等 — Meta LLaMA-3 的 MTP 预训练目标
原题Adam Optimizer· 中等 🟡 中等 — 现代 LLM 训练标配，一阶+二阶矩
原题AdamW 优化器· 中等 🟡 中等 — 解耦权重衰减，比 Adam+L2 更正确
原题线性学习率预热· 简单 🟢 简单 — 训练初期防梯度爆炸
原题Cosine LR Scheduler with Warmup· 中等 🟡 中等 — LLM 训练标配调度策略
原题EMA 指数移动平均· 简单 🟢 简单 — 模型权重平滑，推理性能更稳定
原题Gradient Norm Clipping· 简单 🟢 简单 — 防梯度爆炸，稳定训练必备
原题Gradient Accumulation· 简单 🟢 简单 — 模拟大 batch size，显存受限时必用
原题Activation Checkpointing· 中等 🟡 中等 — 用计算换内存，训练大模型必备
原题Mixed Precision Training Step· 中等 🟡 中等 — FP16 前向 + FP32 权重，loss scaling
原题LoRA (Low-Rank Adaptation)· 中等 🟡 中等 — 低秩分解微调，最重要的 PEFT 方法
原题QLoRA· 困难 🔴 困难 — 量化 + LoRA，4-bit 显存运行大模型
原题Prefix Tuning 前缀微调· 中等 🟡 中等 — 软提示词，冻结主干只训 prefix
原题INT8 Quantized Linear· 困难 🔴 困难 — 量化基础，理解 scale/zero-point
原题Bradley-Terry Reward Model Loss· 中等 🟡 中等 — 偏好对比损失，RLHF 奖励模型训练
原题KL 惩罚（RLHF）· 简单 🟢 简单 — 防止策略偏离参考模型
原题PPO Clipped Loss· 中等 🟡 中等 — ratio clip 目标，RLHF 阶段经典算法
原题DPO Loss· 中等 🟡 中等 — 无需奖励模型的偏好对齐，简洁优雅
原题GRPO Loss· 困难 🔴 困难 — DeepSeek-R1 使用，组相对策略优化
原题NTK-aware RoPE Scaling· 简单 🟢 简单 — 长上下文外推，YaRN/LongRoPE 基础
原题2D 旋转位置编码· 困难 🔴 困难 — ViT/多模态场景的 2D RoPE
原题Differential Attention· 困难 🔴 困难 — Microsoft 提出，双头相减抵消噪声
原题Multi-Head Latent Attention (MLA)· 困难 🔴 困难 — DeepSeek-V2 核心，KV Cache 压缩
原题Paged Attention· 困难 🔴 困难 — vLLM 核心，分页管理 KV Cache
原题Mixture of Experts (MoE)· 困难 🔴 困难 — Qwen-3/DeepSeek-V3 基础架构
原题Mamba SSM Step· 困难 🔴 困难 — 线性复杂度序列模型，替代 Attention 的挑战者
原题Temperature Scaling· 简单 🟢 简单 — 控制生成多样性，temperature=0 退化为贪婪
原题Top-k / Top-p Sampling· 中等 🟡 中等 — 截断词表的采样策略
原题Beam Search Decoding· 中等 🟡 中等 — 保留 k 个最优序列，翻译任务常用
原题KV Cache Attention· 困难 🔴 困难 — 自回归推理必备，理解 cache 的 append 逻辑
原题Speculative Decoding· 困难 🔴 困难 — 小模型草稿 + 大模型验证，加速推理
原题向量检索打分（RAG）· 简单 🟢 简单 — 余弦相似度 Top-K 检索，RAG 基础
原题Byte-Pair Encoding (BPE)· 困难 🔴 困难 — GPT/LLaMA tokenizer 算法，自底向上合并
原题CLIP 对比学习损失· 中等 🟡 中等 — 多模态对齐的奠基之作，对称 CE 损失
原题图文匹配打分· 简单 🟢 简单 — cosine similarity + sigmoid，最简单的对齐
原题跨模态注意力· 中等 🟡 中等 — 视觉 token 作 K/V，文本 token 作 Q
原题Swin Patch Merging· 简单 🟢 简单 — 层级视觉特征，Swin Transformer 关键操作
原题Diffusion Noise Schedules· 简单 🟢 简单 — DDPM 噪声调度，linear/cosine schedule
原题DDIM Sampling Step· 中等 🟡 中等 — 确定性采样，加速扩散模型推理
原题Flow Matching Loss· 简单 🟢 简单 — 比 DDPM 更简单的生成框架，Flux 使用
原题Ring Attention· 困难 🔴 困难 — 序列并行，多设备分布式注意力计算
原题Tensor Parallel MLP· 困难 🔴 困难 — 列并行 + 行并行，Megatron-LM 核心
原题FSDP Training Step· 困难 🔴 困难 — 全参数分片训练，PyTorch FSDP 原理
原题Linear Self-Attention· 困难 🔴 困难 — O(N) 复杂度注意力，核函数近似
原题MCTS for Reasoning 🔴 困难 — 蒙特卡洛树搜索，o1/R1 推理扩展基础
原题
暂无题目