AI Infra 面试指南
怎样判断一个算子是 compute-bound 还是 memory-bound？
原题为什么算子融合能加速？什么时候反而变慢？
原题DDP、FSDP / ZeRO、TP、PP 如何选？
原题AllReduce 与 All-to-All 分别在哪些场景成为瓶颈？
原题训练显存由哪些部分组成？
原题为什么 decode 阶段常比 prefill 更难跑满 GPU？
原题Continuous batching 解决什么，又引入什么？
原题量化怎样影响吞吐、显存和质量？
原题KV cache 为什么容易成为容量瓶颈？
原题GPU utilization 很高是否说明系统高效？
原题
暂无题目