大模型手写代码练习路线
Beam Search Decoding· 中等 🟡 中等 — 保留 k 个最优序列，翻译任务常用
原题KV Cache Attention· 困难 🔴 困难 — 自回归推理必备，理解 cache 的 append 逻辑
原题Speculative Decoding· 困难 🔴 困难 — 小模型草稿 + 大模型验证，加速推理
原题向量检索打分（RAG）· 简单 🟢 简单 — 余弦相似度 Top-K 检索，RAG 基础
原题Byte-Pair Encoding (BPE)· 困难 🔴 困难 — GPT/LLaMA tokenizer 算法，自底向上合并
原题CLIP 对比学习损失· 中等 🟡 中等 — 多模态对齐的奠基之作，对称 CE 损失
原题图文匹配打分· 简单 🟢 简单 — cosine similarity + sigmoid，最简单的对齐
原题跨模态注意力· 中等 🟡 中等 — 视觉 token 作 K/V，文本 token 作 Q
原题Swin Patch Merging· 简单 🟢 简单 — 层级视觉特征，Swin Transformer 关键操作
原题Diffusion Noise Schedules· 简单 🟢 简单 — DDPM 噪声调度，linear/cosine schedule
原题
暂无题目