真面经，好答案。面试之前，先来面栈。

后训练综合问答

题集来源：阿东玩 AI（Adong）收录项目：AgentGuide查看原题集

题目目录

87 道原题

  1. Per-sample Loss Normalization 和普通 Loss 有什么区别？

    原题
    关联题目后训练中的长度偏差如何产生，损失归约应如何选择？模型训练与对齐 / 训练框架、调参与排障原理机制进阶0篇相关面经

  2. ZeRO-1/2/3 区别？

    原题
    关联题目是否做过分布式训练，常见的模型并行方式有哪些？模型训练与对齐 / 分布式训练与计算硬件原理机制进阶1篇相关面经

  3. 张量并行为什么放节点内，流水线并行跨节点？

    原题
    关联题目如何组合 DP、TP 与 PP 进行 3D 并行，并按硬件拓扑配置？模型训练与对齐 / 分布式训练与计算硬件方案设计深入0篇相关面经

  4. 72B 模型显存怎么估？

    原题
    关联题目如何估算 7B 模型训练显存，并量化 ZeRO 各阶段的节省？模型训练与对齐 / 分布式训练与计算硬件方案设计深入0篇相关面经

  5. BF16 和 FP16 区别？

    原题
    关联题目FP16、BF16 与 FP32 有什么区别，训练时如何选择？模型训练与对齐 / 分布式训练与计算硬件比较选型进阶0篇相关面经

  6. FlashAttention 为什么快？

    原题
    关联题目FlashAttention 为什么能节省显存并提速，是否改变注意力结果？已有答案模型基础与推理 / 推理优化与模型压缩原理机制进阶2篇相关面经

  7. vLLM PagedAttention 原理？

    原题
    关联题目长上下文推理中如何缓解 KV Cache 的内存碎片问题？模型基础与推理 / 推理优化与模型压缩方案设计进阶1篇相关面经

  8. Speculative Decoding 原理？为什么不影响输出质量？

    原题
    关联题目投机解码的原理是什么？模型基础与推理 / 推理与解码原理机制进阶2篇相关面经

    1. KV Cache 为什么重要？

      关联题目KV Cache 缓存什么，怎样影响推理速度和显存？已有答案模型基础与推理 / 推理优化与模型压缩原理机制进阶5篇相关面经

    2. PD 分离为什么热？

      关联题目什么是 Prefill 与 Decode 分离，为什么要分离部署？模型基础与推理 / 推理优化与模型压缩原理机制进阶1篇相关面经
    完整原题

    KV Cache 为什么重要？PD 分离为什么热？

    原题

  10. MoE Routing Collapse 怎么防？

    原题
    关联题目MoE 负载均衡损失与专家路由塌缩有什么关系，如何稳定路由？模型基础与推理 / 模型架构与表示故障排查进阶1篇相关面经