模型部署精华 · 性能分析与调优工具
(进阶)如何用 Nsight Compute 的 Roofline 分析图和 Source Page 定位 Kernel 瓶颈?
原题trtexec 的核心参数有哪些?如何用它评估 TensorRT Engine 的延迟、吞吐和精度?
原题ONNX Runtime Profiling 如何开启?生成的 JSON Trace 如何解读?
原题(进阶)NVTX 标记如何嵌入应用代码并与 Nsight Systems 联动分析?
原题数据加载、预处理、模型推理、后处理各阶段的典型耗时分布与优化思路是什么?
原题(进阶)如何通过流水线化和异步化将预处理、推理、后处理重叠执行以降低端到端延迟?
原题如何判断一个 Kernel 或模型是 Compute-Bound 还是 Memory-Bound?典型信号有哪些?
原题(进阶)如何用 Roofline 模型结合硬件理论算力与带宽上限,设定合理的优化目标?
原题GPU 利用率高就代表性能好吗?SM Occupancy、Tensor Core 利用率和显存带宽利用率各自说明什么问题?
原题(进阶)如何通过 nvidia-smi、DCGM、Nsight 工具组合定位 GPU 利用率异常(假性占满、idle bubble)?
原题
暂无题目