后训练章节追问

题集来源:阿东玩 AI(Adong)收录项目:AgentGuide查看原题集

题目目录

46 道原题
  1. 为什么 Pre-training 这么强了,还一定要做 Post-Training?

    原题
  2. Alignment Tax 和 Reward Hacking 有什么关系?

    原题
  3. 为什么 SFT 时通常只对 Assistant 部分计算 Loss?

    原题
  4. Sequence Packing 的真实难点是什么?

    原题
  5. 为什么 Reward Model 常用 Bradley-Terry,而不是直接做绝对分数回归?

    原题
  6. ORM 和 PRM 到底怎么选?

    原题
  7. RLHF 为什么通常要保留 Reference Model?

    原题
  8. RLAIF 能不能彻底替代人类标注?

    原题
  9. 为什么 PPO 里一定要有 Advantage,而不是直接拿 reward 更新?

    原题
  10. GAE 的核心直觉是什么?

    原题
  11. DPO 里的 $\beta$ 到底控制什么?

    原题
  12. 什么时候会优先用 DPO,而不是直接上 RLHF?

    原题
  13. GRPO 相比 PPO 的核心价值是什么?

    原题
  14. 怎么一句话区分 DAPO / VAPO / GSPO?

    原题
  15. 为什么说 RLVR 不能"凭空创造知识"?

    原题
  16. Qwen3 的 Hybrid Thinking 模式为什么重要?

    原题
  17. 数据飞轮最容易在哪一步翻车?

    原题
  18. 去污染为什么不能只做字符串去重?

    原题
  19. LoRA 里的 B=0 初始化为什么这么关键?

    原题
  20. 什么时候应该 merge LoRA,什么时候不 merge?

    原题
  21. Tool-use RL 最难的地方是什么?

    原题
  22. MCP 为什么会提升 Agent 训练价值?

    原题
  23. 为什么 Test-Time Compute 对数学和代码特别有效?

    原题
  24. MCTS 里 LLM 和 PRM 分别扮演什么角色?

    原题
  25. Flash Attention 和标准 Attention 输出完全一样吗?

    原题
  26. 为什么 Speculative Decoding 能保证输出分布不变?

    原题
  27. 量化后推理速度一定更快吗?

    原题
  28. PD 分离的核心收益是什么?

    原题
  29. ZeRO、TP、PP 的本质区别是什么?

    原题
  30. 为什么 BF16 逐渐取代 FP16 成为训练默认值?

    原题
  31. MoE 的专家会真正"专业化"吗?

    原题
  32. 为什么 DeepSeek-V3 要用共享专家?

    原题
  33. Auxiliary-Loss-Free 为什么比辅助损失更好?

    原题
  34. 推理时 Expert Parallelism 和训练时有什么区别?

    原题
  35. YaRN 和 PI 的本质区别是什么?

    原题
  36. 为什么长上下文训练必须混合短文档数据?

    原题
  37. Needle-in-a-Haystack 评测里,为什么模型在文档中间表现最差?

    原题
  38. Ring Attention 和普通张量并行有什么区别?

    原题
  39. 为什么说 MoE 是"参数变大了,但计算不一定变大"?

    原题
  40. 多模态模型的 hallucination 为什么比纯文本更棘手?

    原题
  41. 为什么 LLaVA 比 BLIP-2 更好,尽管 LLaVA 更简单?

    原题
  42. SigLIP 和 CLIP 的本质区别是什么?

    原题
  43. 2D RoPE 对哪些任务提升最大?

    原题
  44. 幻觉问题用视觉 CoT 解决的原理是什么?

    原题
  45. 视频理解和图像理解最大的工程区别是什么?

    原题
  46. 多模态 Verifier 的常见来源有哪些?

    原题