模型部署精华 · ONNX 与 TensorRT
ONNX Runtime如何通过图优化、算子库和内存管理提升推理性能?
原题(进阶)ONNX Runtime、TensorRT和OpenVINO在传统模型部署中如何选型?
原题ONNX导出失败或算子不支持时通常如何排查?
原题动态Shape、控制流和自定义算子为什么容易导致ONNX部署问题?
原题(进阶)ONNX模型推理结果与训练框架不一致时如何定位问题?
原题TensorRT的加速原理是什么?为什么在NVIDIA GPU上性能好?
原题(进阶)TensorRT中的Builder、Network、Parser、Optimization Profile和Engine分别是什么?
原题TensorRT部署中遇到不支持算子或插件算子时如何处理?
原题TensorRT动态Shape和Optimization Profile应该如何设置?
原题(进阶)TensorRT精度从FP32切到FP16/INT8后如何评估性能收益和精度损失?
原题
暂无题目