后训练章节追问
为什么 Pre-training 这么强了，还一定要做 Post-Training？
原题Alignment Tax 和 Reward Hacking 有什么关系？
原题为什么 SFT 时通常只对 Assistant 部分计算 Loss？
原题Sequence Packing 的真实难点是什么？
原题为什么 Reward Model 常用 Bradley-Terry，而不是直接做绝对分数回归？
原题ORM 和 PRM 到底怎么选？
原题RLHF 为什么通常要保留 Reference Model？
原题RLAIF 能不能彻底替代人类标注？
原题为什么 PPO 里一定要有 Advantage，而不是直接拿 reward 更新？
原题GAE 的核心直觉是什么？
原题
暂无题目