模型部署精华 · 性能分析与调优工具

题集来源:Rocky Ding(WeThinkIn)收录项目:AIGC-Interview-Book查看原题集

题目目录

28 道原题
  1. 性能分析的核心目标是什么?延迟、吞吐、利用率、功耗分别衡量什么?

    原题
  2. (进阶)如何建立推理服务的性能基线与SLO指标体系?

    原题
  3. 在线剖析与离线剖析有何区别?采样、插桩与trace各适用于什么场景?

    原题
  4. 系统级工具(Nsight Systems、Timeline)与内核级工具(Nsight Compute、Kernel Profiler)如何配合使用?

    原题
  5. (进阶)PyTorch Profiler、Nsight系列、trtexec、ONNX Runtime Profiler各定位在什么分析层级?如何构建完整分析链?

    原题
  6. torch.profiler 有哪几种核心功能?trace、stack、memory 分别观察什么?

    原题
  7. (进阶)如何用 Chrome Trace 和 TensorBoard 可视化 Profiler 结果并定位耗时算子?

    原题
  8. Nsight Systems 能帮我们看清什么?CPU-GPU 同步开销、数据传输和 Kernel Launch 间隔如何识别?

    原题
  9. (进阶)如何用 Nsight Systems 分析多 GPU 推理的通信与计算重叠情况?

    原题
  10. Nsight Compute 的核心指标有哪些?occupancy、算力利用率、内存带宽利用率如何解读?

    原题