大模型手写代码练习路线
Kaiming Initialization· 简单 🟢 简单 — 正确初始化是训练稳定的第一步
原题Implement Dropout· 简单 🟢 简单 — 训练/推理行为不同，逐 token 实现
原题Simple Linear Layer· 中等 🟡 中等 — 手实现 nn.Linear，理解矩阵乘法
原题因果注意力掩码· 简单 🟢 简单 — 理解为什么 GPT 需要 mask
原题Softmax Attention· 简单 🟢 简单 — 所有注意力的基础，QKV 计算
原题Causal Self-Attention· 中等 🟡 中等 — 在 Softmax Attention 上加 mask
原题Multi-Head Attention· 困难 🔴 困难 — 多头拆分与合并，完整实现
原题Sinusoidal Position Encoding· 简单 🟢 简单 — 原始 Transformer 位置编码
原题Rotary Position Embedding (RoPE)· 中等 🟡 中等 — LLaMA/Qwen 标配，旋转矩阵实现
原题Multi-Head Cross-Attention· 中等 🟡 中等 — Encoder-Decoder 架构基础
原题
暂无题目