模型部署精华 · 性能分析与调优工具

题集来源:Rocky Ding(WeThinkIn)收录项目:AIGC-Interview-Book查看原题集

题目目录

28 道原题
  1. (进阶)如何用 Nsight Compute 的 Roofline 分析图和 Source Page 定位 Kernel 瓶颈?

    原题
  2. trtexec 的核心参数有哪些?如何用它评估 TensorRT Engine 的延迟、吞吐和精度?

    原题
  3. ONNX Runtime Profiling 如何开启?生成的 JSON Trace 如何解读?

    原题
  4. (进阶)NVTX 标记如何嵌入应用代码并与 Nsight Systems 联动分析?

    原题
  5. 数据加载、预处理、模型推理、后处理各阶段的典型耗时分布与优化思路是什么?

    原题
  6. (进阶)如何通过流水线化和异步化将预处理、推理、后处理重叠执行以降低端到端延迟?

    原题
  7. 如何判断一个 Kernel 或模型是 Compute-Bound 还是 Memory-Bound?典型信号有哪些?

    原题
  8. (进阶)如何用 Roofline 模型结合硬件理论算力与带宽上限,设定合理的优化目标?

    原题
  9. GPU 利用率高就代表性能好吗?SM Occupancy、Tensor Core 利用率和显存带宽利用率各自说明什么问题?

    原题
  10. (进阶)如何通过 nvidia-smi、DCGM、Nsight 工具组合定位 GPU 利用率异常(假性占满、idle bubble)?

    原题