AI Infra:训练、推理与 GPU 平台工程
CUDA Graph 为什么能降低推理开销?为什么可能额外占显存,Prefill 与 Decode 哪个阶段更适合?
原题PD 分离解决什么问题,Prefill 与 Decode 资源比例怎么定?
原题模型版本升级如何做到可观测、可灰度、可回滚?
原题CUDA、Triton、CUTE 与 MLIR 分别位于什么抽象层?算子编译链和选型依据是什么?
原题KV Cache 命中率如何评估与优化?
原题AIOps 如何结合告警、Metrics、Logs、Trace 和服务拓扑完成证据驱动的 RCA,并安全执行自动处置?
原题DeepSpeed ZeRO 的三个阶段分别做什么?
原题大模型训练出现 OOM 时,如何定位原因并进行显存优化?
原题训练与推理引擎的核心模块、底层工作与优化方向是什么?
原题AI Infra 和 Agent Infra 有什么区别?
原题
暂无题目