模型部署精华 · 性能分析与调优工具
性能分析的核心目标是什么？延迟、吞吐、利用率、功耗分别衡量什么？
原题（进阶）如何建立推理服务的性能基线与SLO指标体系？
原题在线剖析与离线剖析有何区别？采样、插桩与trace各适用于什么场景？
原题系统级工具（Nsight Systems、Timeline）与内核级工具（Nsight Compute、Kernel Profiler）如何配合使用？
原题（进阶）PyTorch Profiler、Nsight系列、trtexec、ONNX Runtime Profiler各定位在什么分析层级？如何构建完整分析链？
原题torch.profiler 有哪几种核心功能？trace、stack、memory 分别观察什么？
原题（进阶）如何用 Chrome Trace 和 TensorBoard 可视化 Profiler 结果并定位耗时算子？
原题Nsight Systems 能帮我们看清什么？CPU-GPU 同步开销、数据传输和 Kernel Launch 间隔如何识别？
原题（进阶）如何用 Nsight Systems 分析多 GPU 推理的通信与计算重叠情况？
原题Nsight Compute 的核心指标有哪些？occupancy、算力利用率、内存带宽利用率如何解读？
原题（进阶）如何用 Nsight Compute 的 Roofline 分析图和 Source Page 定位 Kernel 瓶颈？
原题trtexec 的核心参数有哪些？如何用它评估 TensorRT Engine 的延迟、吞吐和精度？
原题ONNX Runtime Profiling 如何开启？生成的 JSON Trace 如何解读？
原题（进阶）NVTX 标记如何嵌入应用代码并与 Nsight Systems 联动分析？
原题数据加载、预处理、模型推理、后处理各阶段的典型耗时分布与优化思路是什么？
原题（进阶）如何通过流水线化和异步化将预处理、推理、后处理重叠执行以降低端到端延迟？
原题如何判断一个 Kernel 或模型是 Compute-Bound 还是 Memory-Bound？典型信号有哪些？
原题（进阶）如何用 Roofline 模型结合硬件理论算力与带宽上限，设定合理的优化目标？
原题GPU 利用率高就代表性能好吗？SM Occupancy、Tensor Core 利用率和显存带宽利用率各自说明什么问题？
原题（进阶）如何通过 nvidia-smi、DCGM、Nsight 工具组合定位 GPU 利用率异常（假性占满、idle bubble）？
原题Kernel Launch Overhead 在大模型 Decode 阶段为什么尤为突出？CUDA Graph 如何缓解？
原题如何从 Timeline 中识别不必要的 CPU-GPU 同步点（cudaDeviceSynchronize、cudaStreamSynchronize）？
原题（进阶）如何识别模型推理中的算子级热点？对 cost 最高的单算子如何进一步下钻分析？
原题TTFT、TPOT、ITL、吞吐量分别衡量什么？如何定位 Prefill 慢和 Decode 慢的不同根因？
原题如何分析 KV Cache 命中率与利用率？Prefix Caching 的效果如何量化评估？
原题（进阶）Continuous Batching 的调度效率如何分析？Running/Max Batch Size 占比、Queue Time 突增意味着什么？
原题如何建立 Profile → Analyze → Hypothesize → Optimize → Verify 的闭环调优流程？
原题（进阶）遇到线上推理性能退化，如何快速定位瓶颈层级（模型/框架/算子/硬件/调度）并给出优化决策树？
原题
暂无题目