AI Infra二面面经

1. 做简洁自我介绍，重点讲解过往AI Infra相关项目落地经历、学术论文核心成果，说明个人核心贡献与技术难点突破点。 2. 详细对比NVIDIA安培、Hopper、Blackwell三代架构的核心指令集差异，重点说明TMA传输机制、张量内存设计、异步调度策略的迭代优化，以及FP4、FP6低精度算力的硬件适配特性。 3. 对比Hopper WGMMA与Blackwell UMMA指令的执行逻辑差异：解释WGMMA需要Warp Group批量发射的原因，以及UMMA指令可通过单Warp完成计算的底层原理，并说明张量内存中scale factor的落地应用方式。 4. 讲解Cache-aware推理路由方案，针对线上热点实例负载不均问题，说明cache score、load score双维度评估策略的设计思路。 5. 说明Cache-aware路由方案中平衡系数lambda的取值逻辑、参数变动对整体缓存命中率的影响，以及对应的调优策略。 6. 介绍跨实例KV Cache共享的实现方案、适用业务场景，对比该优化策略与Dynamo原生调度策略的核心差异与性能优劣。 7. 分享英特尔TILE Cache仿真项目经验，说明仿真平台的搭建逻辑、系统层级的优化思路，以及如何基于仿真结果为业务提供并行配置、PD配比的标准化落地参考方案。 8. 讲解W4A4稀疏推理Kernel的完整实现方案，基于WMMA指令的算子适配逻辑、量化精度设计思路。 9. 介绍自研4 Tile对应1 Bitmap的稀疏算子创新设计，说明该方案对稀疏计算效率的提升原理。 10. 阐述算子优化中的key拆分策略、双缓冲机制、LSBD流水线设计，以及M16N8K64矩阵分块参数的适配场景与设计依据。 11. 手撕Save Softmax算子，完成基础代码实现，并全方位拆解优化思路：包含Warp Shuffle归约优化、寄存器缓存复用减少片上访存等核心提速方案。 12. 询问团队核心业务场景、当前大模型推理落地的核心技术瓶颈与攻坚方向。 13. 了解团队GPU资源配置、人员分工模式，以及调度系统、推理框架、底层算子三大模块的团队划分与研发侧重。