阿里巴巴
AI Infra一面面经
完整信息
本篇目录
1. Rollout阶段的Top‑K路由信息如何记录，训练侧如何使用该信息
2. 路由数据的存储、传输、消费分别处于哪些环节
3. 扩展至多节点环境，额外路由数据会放大通信开销的原因
4. 训练节点只需要部分数据，如何规避rollout数据全量搬运
5. 路由重放可以缓解rollout与训练侧MoE路由不一致的原理
6. NCCL、NVLink、PCIe、RDMA相互之间的关系
7. DP、TP、PP、EP各类并行方式如何切分，各自解决什么问题
8. Prefill和Decode阶段做分离设计的原因
9. KV Cache如何复用与传输，什么场景下传输KV不如重新执行Prefill
10. vLLM的PagedAttention、SGLang前缀缓存主要解决哪些问题
本篇目录
当前问题0112
- 01
Rollout阶段的Top‑K路由信息如何记录，训练侧如何使用该信息
- 02
路由数据的存储、传输、消费分别处于哪些环节
- 03
扩展至多节点环境，额外路由数据会放大通信开销的原因
- 04
训练节点只需要部分数据，如何规避rollout数据全量搬运
- 05
路由重放可以缓解rollout与训练侧MoE路由不一致的原理
- 06
NCCL、NVLink、PCIe、RDMA相互之间的关系
- 07
DP、TP、PP、EP各类并行方式如何切分，各自解决什么问题
- 08
DP、TP、PP、EP各类并行方式如何切分，各自解决什么问题
- 09
Prefill和Decode阶段做分离设计的原因
- 10
KV Cache如何复用与传输，什么场景下传输KV不如重新执行Prefill
- 11
KV Cache如何复用与传输，什么场景下传输KV不如重新执行Prefill
- 12
vLLM的PagedAttention、SGLang前缀缓存主要解决哪些问题