大模型手写代码练习路线
Implement ReLU· 简单 🟢 简单 — 最基础，理解梯度截断
原题Sigmoid 激活函数· 简单 🟢 简单 — 二分类基础，注意数值稳定性
原题GELU Activation· 简单 🟢 简单 — BERT/GPT 标配，理解 erf 近似
原题Tanh 激活函数· 简单 🟢 简单 — RNN 时代经典
原题LeakyReLU 激活函数· 简单 🟢 简单 — 解决 dying ReLU 问题
原题Implement LayerNorm· 中等 🟡 中等 — Transformer 核心组件，必须手写
原题Implement RMSNorm· 中等 🟡 中等 — LLaMA 系列标配，比 LayerNorm 更轻量
原题Implement BatchNorm· 中等 🟡 中等 — 理解 running stats 的训练/推理差异
原题Implement Softmax· 简单 🟢 简单 — 数值稳定 trick（减 max）是考点
原题Embedding Layer· 简单 🟢 简单 — 词表映射，理解 weight tying
原题
暂无题目