AI Infra 面试指南
怎样判断一个算子是 compute-bound 还是 memory-bound？
原题为什么算子融合能加速？什么时候反而变慢？
原题DDP、FSDP / ZeRO、TP、PP 如何选？
原题AllReduce 与 All-to-All 分别在哪些场景成为瓶颈？
原题训练显存由哪些部分组成？
原题为什么 decode 阶段常比 prefill 更难跑满 GPU？
原题Continuous batching 解决什么，又引入什么？
原题量化怎样影响吞吐、显存和质量？
原题KV cache 为什么容易成为容量瓶颈？
原题GPU utilization 很高是否说明系统高效？
原题一次训练吞吐突然下降 30%，你按什么顺序排查？
原题MoE 的某些 expert 持续过载，如何定位并治理？
原题如何为长短请求混合的在线服务设计调度器？
原题Prefix cache 命中率高，但 P99 变差，可能是什么原因？
原题如何在成本不增加的前提下提高满足 SLO 的 goodput？
原题设计一个支持多租户、配额、抢占和故障恢复的 GPU 平台。
原题Agent 执行大量外部工具时，GPU 为什么会空等？怎样解耦？
原题如何证明一次优化没有以输出质量或稳定性为代价？
原题
暂无题目