后训练综合问答
SFT 为什么只对 assistant token 算 loss？多轮时所有 ASST 都要开放吗？
原题工业级 SFT 数据工程怎么设计？
原题什么是 PSFT？为什么值得在面试里提？
原题RM、ORM、PRM、Verifier、Judge 怎么区分？
原题开放式任务 vs 可验证任务的奖励设计本质区别？
原题合成数据（GPT-4 蒸馏）的深层隐患？
原题Length Bias 怎么处理？
原题Reward Hacking 怎么防？
原题Benchmark Contamination 怎么防？
原题数据飞轮怎么设计？
原题RLHF 完整流程？为什么 SFT 不够？
原题PPO 完整目标函数？每项作用？
原题GAE 为什么重要？
原题DPO 怎么从 RLHF 推出来？
原题DPO 的 β 作用？核心缺陷？
原题GRPO 和 PPO 本质区别？
原题GRPO 为什么会梯度真空？
原题DAPO 对 GRPO 做了哪些改进？（字节最高频）
原题GSPO 为什么比 GRPO 更适合 2025-2026？
原题DeepSeek R1 核心创新？
原题R1 为什么需要 Cold-start SFT？
原题RLVR 真的"学会推理"了吗？（谨慎回答）
原题Overthinking 是什么？怎么控制？
原题Token-level reward 和 Sequence-level reward 区别？
原题DPO 变体（ORPO/KTO/SimPO/Online DPO）分别解决什么？
原题PRM 训练数据如何构造？
原题GRPO 中 G 取多少合适？
原题为什么 R1 训练不能先 GRPO 再 DPO？
原题RLHF 训练中出现 reward collapse 怎么诊断和处理？
原题Online DPO 相比 Offline DPO 的代价是什么？
原题Per-sample Loss Normalization 和普通 Loss 有什么区别？
原题ZeRO-1/2/3 区别？
原题张量并行为什么放节点内，流水线并行跨节点？
原题72B 模型显存怎么估？
原题BF16 和 FP16 区别？
原题FlashAttention 为什么快？
原题vLLM PagedAttention 原理？
原题Speculative Decoding 原理？为什么不影响输出质量？
原题KV Cache 为什么重要？
PD 分离为什么热？
原题完整原题
KV Cache 为什么重要？PD 分离为什么热？
MoE Routing Collapse 怎么防？
原题FSDP vs ZeRO vs Megatron 怎么选？
原题SFT 训练多少个 epoch 合适？
原题LoRA 的 r 怎么选？
原题Function Calling 底层到底是什么？
原题怎么设计 Agent 的 reward？
原题怎么评估 Agent 而非聊天机器人？
原题设计 RLHF 训练系统。
原题设计 Reasoning Model 训练 Pipeline（R1/o1 风格）。
原题设计 Agent 场景奖励系统（多步 Tool-use）。
原题模型线上效果退化怎么诊断？
原题长文本 RLHF 面临什么瓶颈？
原题设计医疗垂类大模型 Post-Training 流程。
原题Llama 4 后训练新思路？
原题Qwen3 训练范式独特之处？
原题字节/腾讯/阿里面试风格差异？
原题GRPO PyTorch 中 KL 惩罚怎么设计？
原题如果面试官问"你笔记最大短板是什么"？
原题Test-Time Compute 和训练时 Compute 如何权衡？
原题MCTS 的 N（采样数）怎么设置？
原题TIES-Merging 的 Trim 阈值怎么定？
原题RLAIF 生成的偏好数据，如何检测是否有系统性偏差？
原题Model Merging 和继续微调相比有什么本质优势？
原题Tool-use RL 和普通 GRPO 最本质的区别是什么？
原题Multi-Agent RL 和 Single-Agent RL 最大的挑战是什么？
原题Memory RL 为什么比 Tool-use RL 训练成本高？
原题为什么 RL 阶段的污染比训练数据污染更严重？
原题一个成熟团队怎么决定模型能不能上线？
原题为什么 tool_result 往往要 mask？
原题chat template 和 tokenizer 最容易踩什么坑？
原题为什么 2025-2026 的 reward 不再是单一 RM？
原题ORM 和 PRM 应该怎么组合？
原题rollout 为什么经常比 trainer 更贵？
原题stale sample 为什么会把 RL 训练弄飘？
原题OpenRLHF 和 veRL 分别更像什么？
原题DPO 为什么训练稳，但不一定适合 reasoning / agent 主线？
原题dynamic beta 到底在缓解什么问题？
原题为什么 sequence-level 更新在 2025-2026 更重要？
原题Qwen3 四阶段为什么不能少 fusion？
原题Agent 训练为什么不是 function calling？
原题tool safety 和 text safety 为什么不是一回事？
原题vLLM 为什么不只是一个 kernel，SGLang 又什么时候更顺手？
原题DeepSeek-V3 为什么强调 auxiliary-loss-free？
原题长上下文和记忆不是一回事，边界在哪里？
原题BLEU 分高的翻译一定更好吗？
原题LLM-as-Judge 的位置偏见怎么解决？
原题私有 benchmark 为什么要每季度更新 30%？
原题Chatbot Arena 的 Elo 系统是什么？
原题
暂无题目