大模型与多模态数学专题
为什么长上下文的核心瓶颈是注意力复杂度和 KV Cache？
原题MHA、MQA、GQA 在 KV Cache 复杂度上有什么数学差异？
原题MLA（Multi-head Latent Attention）为什么能压缩 KV Cache？
原题RoPE Scaling、NTK-aware、YaRN 的长度外推直觉是什么？
原题滑动窗口注意力、稀疏注意力、分块注意力如何降低复杂度？
原题为什么 Test-Time Scaling 成为大模型推理能力提升的重要方向？
原题Temperature、Top-p、Typical Sampling、Contrastive Decoding 如何改变生成分布？
原题Best-of-N、Self-Consistency、Majority Vote 的概率收益如何理解？
原题Speculative Decoding 为什么可以无损加速？接受率公式如何理解？
原题Tree of Thoughts、Beam Search、MCTS 在推理搜索中有什么数学区别？
原题视觉语言模型和多模态生成为什么依赖对齐空间？
原题CLIP/InfoNCE 对比学习损失如何实现图文对齐？
原题Patch Embedding、视觉 Token 与文本 Token 如何进入同一 Transformer？
原题Cross Attention、Co-Attention、MMDiT 的多模态交互有什么数学差异？
原题Stable Diffusion 3/FLUX 类 Rectified Flow Transformer 的数学特点是什么？
原题RAG 系统的核心数学不只是余弦相似度吗？
原题Dense Retrieval、Sparse Retrieval、Hybrid Search 的打分函数有什么区别？
原题Rerank、Cross-Encoder、Late Interaction 的数学差异是什么？
原题MMR 如何在相关性和多样性之间折中？
原题RAG 评估中的 Recall@k、MRR、nDCG、Faithfulness 如何理解？
原题为什么推理模型训练越来越重视过程奖励和可验证反馈？
原题Outcome Reward Model 和 Process Reward Model 有什么数学区别？
原题Verifier、Reward Model、Critic、Judge Model 的目标函数有什么区别？
原题拒绝采样、Best-of-N、Reward Reranking 与 RL 优化有什么关系？
原题此处“拒绝采样”指按奖励阈值筛选候选，不是严格目标分布采样的接受—拒绝算法。
推理时计算预算、成功率和采样次数之间有什么关系？
原题
暂无题目