滴滴
AI Infra 算法岗一面、二面面经
完整信息
本篇目录
一面
1. 介绍你的个人经历与实习核心工作
2. 实习中做过哪些 Attention 架构优化？
3. 行业如何界定长序列？聚合阶段为什么不能做计算优化？
4. 你的 KV Cache 管理方案是什么？新架构如何适配？
5. MLA 与 SFA 的核心区别是什么？如何解释线性注意力？
6. 线性注意力系列方法相比 GQA，能降低多少 KV Cache 开销？
7. GQA 结构下，一次推理需要多大的 KV Cache 显存？
8. 流水线调度（Pipeline）具体做了哪些优化？还有什么优化空间？
9. 训练场景中你参与过哪些工作？DeepSpeed 使用细节？
10. DeepSpeed Zero2/Zero3 的通信开销来源、显存降幅分别是多少？
11. AdamW 优化器为什么会占用4倍模型参数量显存？
12. 手撕：CUDA 实现 RMSNorm、Softmax、Online Softmax、SwiGLU
二面
1. 流水线调度优化的动机、具体做法、解决的核心问题？
2. 延迟预测模型是小模型还是传统机器学习算法？
3. 是否改过调度层逻辑？多用户不等长序列如何统一处理？
4. 序列切割落在框架哪一层？分布式 Decode 阶段你做了哪些优化？
5. 你的调度方案相比原有方案，吞吐提升指标是多少？
6. 原生展平调度的缺陷是什么？MTP 方案相比你的方案优劣？
7. 你的 C++、CUDA 工程基础掌握情况如何？
8. PyTorch Dispatch 机制、Kernel 选择全过程？
9. Torch Compile、Dynamo、Inductor 底层原理是什么？
10. CUDA Graph 与 Torch 编译优化的关系？堆和栈的区别？
11. 手撕：实现 LRU Cache，并解释 O(1) 复杂度原理
12. NanoVLLM Chunk Prefill 原理、是否劣化 TTFT？Triton 精度异常如何 Debug
本篇目录
当前问题0123
- 01
介绍你的个人经历与实习核心工作
- 02
实习中做过哪些 Attention 架构优化？
- 03
行业如何界定长序列？聚合阶段为什么不能做计算优化？
- 04
你的 KV Cache 管理方案是什么？新架构如何适配？
- 05
MLA 与 SFA 的核心区别是什么？如何解释线性注意力？
- 06
线性注意力系列方法相比 GQA，能降低多少 KV Cache 开销？
- 07
GQA 结构下，一次推理需要多大的 KV Cache 显存？
- 08
流水线调度（Pipeline）具体做了哪些优化？还有什么优化空间？
- 09
训练场景中你参与过哪些工作？DeepSpeed 使用细节？
- 10
DeepSpeed Zero2/Zero3 的通信开销来源、显存降幅分别是多少？
- 11
AdamW 优化器为什么会占用4倍模型参数量显存？
- 12
手撕：CUDA 实现 RMSNorm、Softmax、Online Softmax、SwiGLU
- 13
流水线调度优化的动机、具体做法、解决的核心问题？
- 14
延迟预测模型是小模型还是传统机器学习算法？
- 15
是否改过调度层逻辑？多用户不等长序列如何统一处理？
- 16
序列切割落在框架哪一层？分布式 Decode 阶段你做了哪些优化？
- 17
你的调度方案相比原有方案，吞吐提升指标是多少？
- 18
你的 C++、CUDA 工程基础掌握情况如何？
- 19
PyTorch Dispatch 机制、Kernel 选择全过程？
- 20
Torch Compile、Dynamo、Inductor 底层原理是什么？
- 21
CUDA Graph 与 Torch 编译优化的关系？堆和栈的区别？
- 22
手撕：实现 LRU Cache，并解释 O(1) 复杂度原理
- 23
NanoVLLM Chunk Prefill 原理、是否劣化 TTFT？Triton 精度异常如何 Debug