大模型手写代码练习路线
Grouped Query Attention· 困难 🔴 困难 — LLaMA-2/3 优化，减少 KV 参数量
原题ALiBi Attention· 中等 🟡 中等 — 位置偏置的另一种思路
原题Sliding Window Attention· 中等 🟡 中等 — Mistral 局部注意力，降低复杂度
原题Flash Attention (Tiled)· 困难 🔴 困难 — IO 感知的分块计算，必须理解
原题GLU 门控线性单元· 简单 🟢 简单 — 门控机制基础，sigmoid 作门
原题SwiGLU Activation· 中等 🟡 中等 — LLaMA FFN 标配，SiLU 门控
原题SwiGLU MLP· 中等 🟡 中等 — 完整 FFN 实现，gate/up/down 三矩阵
原题Adaptive LayerNorm Zero (adaLN-Zero)· 中等 🟡 中等 — DiT 条件归一化，扩散模型必考
原题GPT-2 Transformer Block· 困难 🔴 困难 — 完整 GPT Block，理解残差连接顺序
原题ViT Patch Embedding· 中等 🟡 中等 — 图像分块到 token，多模态基础
原题
暂无题目