阿里巴巴
AI Infra二面面经
完整信息
本篇目录
1. TP并行结合CUDA Graph场景下的稳定性、超时问题排查思路
2. 如何通过最小复现场景（TP=2）定位问题，对比TP=1、高TP规模的差异表现
3. CUDA Graph属于问题触发条件还是根本原因？
4. 多卡通信双方如何精准判断缓冲区状态
5. 常规通信路径无法复现故障、仅特定路径报错的底层原因
6. 确定性Router GEMM原理：Split-K策略为何会破坏计算确定性
7. 固定Persistent Kernel在小M维度shape下算力浪费的核心原因
8. 如何根据动态输入shape自适应选择最优计算路径，同时设计降级回退策略
9. Decode阶段CPU/GPU同步阻塞问题优化思路
10. 原有链路中哪些数据存在频繁CPU、GPU来回拷贝问题
11. 如何将轻量化计算完全托管在GPU执行，消除Decode空闲间隙、提升吞吐
12. NCCL中Ring AllReduce、Tree AllReduce的工作原理
13. 两种通信拓扑分别适配高吞吐、低延迟的场景差异
14. 多节点架构下Prefill与Decode分离部署的设计逻辑
15. Prefill节点产出的KV Cache如何高效同步至Decode节点
本篇目录
当前问题0113
- 01
TP并行结合CUDA Graph场景下的稳定性、超时问题排查思路
- 02
如何通过最小复现场景（TP=2）定位问题，对比TP=1、高TP规模的差异表现
- 03
CUDA Graph属于问题触发条件还是根本原因？
- 04
多卡通信双方如何精准判断缓冲区状态
- 05
确定性Router GEMM原理：Split-K策略为何会破坏计算确定性
- 06
固定Persistent Kernel在小M维度shape下算力浪费的核心原因
- 07
如何根据动态输入shape自适应选择最优计算路径，同时设计降级回退策略
- 08
Decode阶段CPU/GPU同步阻塞问题优化思路
- 09
如何将轻量化计算完全托管在GPU执行，消除Decode空闲间隙、提升吞吐
- 10
NCCL中Ring AllReduce、Tree AllReduce的工作原理
- 11
两种通信拓扑分别适配高吞吐、低延迟的场景差异
- 12
多节点架构下Prefill与Decode分离部署的设计逻辑
- 13
Prefill节点产出的KV Cache如何高效同步至Decode节点