AI Infra:训练、推理与 GPU 平台工程

题集来源:Onefly(ranxi2001)收录项目:zero2Agent查看原题集

题目目录

39 道原题
  1. CUDA Graph 为什么能降低推理开销?为什么可能额外占显存,Prefill 与 Decode 哪个阶段更适合?

    原题
  2. PD 分离解决什么问题,Prefill 与 Decode 资源比例怎么定?

    原题
  3. 模型版本升级如何做到可观测、可灰度、可回滚?

    原题
  4. CUDA、Triton、CUTE 与 MLIR 分别位于什么抽象层?算子编译链和选型依据是什么?

    原题
  5. KV Cache 命中率如何评估与优化?

    原题
  6. AIOps 如何结合告警、Metrics、Logs、Trace 和服务拓扑完成证据驱动的 RCA,并安全执行自动处置?

    原题
  7. DeepSpeed ZeRO 的三个阶段分别做什么?

    原题
  8. 大模型训练出现 OOM 时,如何定位原因并进行显存优化?

    原题
  9. 训练与推理引擎的核心模块、底层工作与优化方向是什么?

    原题
  10. AI Infra 和 Agent Infra 有什么区别?

    原题