模型部署精华 · 性能分析与调优工具
Kernel Launch Overhead 在大模型 Decode 阶段为什么尤为突出？CUDA Graph 如何缓解？
原题如何从 Timeline 中识别不必要的 CPU-GPU 同步点（cudaDeviceSynchronize、cudaStreamSynchronize）？
原题（进阶）如何识别模型推理中的算子级热点？对 cost 最高的单算子如何进一步下钻分析？
原题TTFT、TPOT、ITL、吞吐量分别衡量什么？如何定位 Prefill 慢和 Decode 慢的不同根因？
原题如何分析 KV Cache 命中率与利用率？Prefix Caching 的效果如何量化评估？
原题（进阶）Continuous Batching 的调度效率如何分析？Running/Max Batch Size 占比、Queue Time 突增意味着什么？
原题如何建立 Profile → Analyze → Hypothesize → Optimize → Verify 的闭环调优流程？
原题（进阶）遇到线上推理性能退化，如何快速定位瓶颈层级（模型/框架/算子/硬件/调度）并给出优化决策树？
原题
暂无题目