大模型手写代码练习路线
GRPO Loss· 困难 🔴 困难 — DeepSeek-R1 使用，组相对策略优化
原题NTK-aware RoPE Scaling· 简单 🟢 简单 — 长上下文外推，YaRN/LongRoPE 基础
原题2D 旋转位置编码· 困难 🔴 困难 — ViT/多模态场景的 2D RoPE
原题Differential Attention· 困难 🔴 困难 — Microsoft 提出，双头相减抵消噪声
原题Multi-Head Latent Attention (MLA)· 困难 🔴 困难 — DeepSeek-V2 核心，KV Cache 压缩
原题Paged Attention· 困难 🔴 困难 — vLLM 核心，分页管理 KV Cache
原题Mixture of Experts (MoE)· 困难 🔴 困难 — Qwen-3/DeepSeek-V3 基础架构
原题Mamba SSM Step· 困难 🔴 困难 — 线性复杂度序列模型，替代 Attention 的挑战者
原题Temperature Scaling· 简单 🟢 简单 — 控制生成多样性，temperature=0 退化为贪婪
原题Top-k / Top-p Sampling· 中等 🟡 中等 — 截断词表的采样策略
原题
暂无题目