模型部署精华 · ONNX 与 TensorRT

题集来源:Rocky Ding(WeThinkIn)收录项目:AIGC-Interview-Book查看原题集

题目目录

23 道原题
  1. ONNX Runtime如何通过图优化、算子库和内存管理提升推理性能?

    原题
  2. (进阶)ONNX Runtime、TensorRT和OpenVINO在传统模型部署中如何选型?

    原题
  3. ONNX导出失败或算子不支持时通常如何排查?

    原题
  4. 动态Shape、控制流和自定义算子为什么容易导致ONNX部署问题?

    原题
  5. (进阶)ONNX模型推理结果与训练框架不一致时如何定位问题?

    原题
  6. TensorRT的加速原理是什么?为什么在NVIDIA GPU上性能好?

    原题
  7. (进阶)TensorRT中的Builder、Network、Parser、Optimization Profile和Engine分别是什么?

    原题
  8. TensorRT部署中遇到不支持算子或插件算子时如何处理?

    原题
  9. TensorRT动态Shape和Optimization Profile应该如何设置?

    原题
  10. (进阶)TensorRT精度从FP32切到FP16/INT8后如何评估性能收益和精度损失?

    原题