模型部署精华 · ONNX 与 TensorRT
ONNX为什么能作为不同训练框架和推理框架之间的桥梁？
原题ONNX由哪些主要组件组成？Graph、Node、Tensor和Opset分别表示什么？
原题（进阶）ONNX的Opset版本为什么会影响模型部署兼容性？
原题为什么模型部署中常用中间表示而不是直接使用训练框架模型？
原题中间表示如何帮助推理框架做图优化、硬件适配和跨平台部署？
原题（进阶）ONNX、TorchScript、TensorRT Engine和OpenVINO IR有什么区别？
原题PyTorch模型导出ONNX的基本流程是什么？
原题导出ONNX时dynamic_axes、opset_version和input_names/output_names分别有什么作用？
原题（进阶）如何验证导出的ONNX模型与PyTorch原模型输出一致？
原题ONNX Runtime的Execution Provider是什么？常见EP有哪些？
原题ONNX Runtime如何通过图优化、算子库和内存管理提升推理性能？
原题（进阶）ONNX Runtime、TensorRT和OpenVINO在传统模型部署中如何选型？
原题ONNX导出失败或算子不支持时通常如何排查？
原题动态Shape、控制流和自定义算子为什么容易导致ONNX部署问题？
原题（进阶）ONNX模型推理结果与训练框架不一致时如何定位问题？
原题TensorRT的加速原理是什么？为什么在NVIDIA GPU上性能好？
原题（进阶）TensorRT中的Builder、Network、Parser、Optimization Profile和Engine分别是什么？
原题TensorRT部署中遇到不支持算子或插件算子时如何处理？
原题TensorRT动态Shape和Optimization Profile应该如何设置？
原题（进阶）TensorRT精度从FP32切到FP16/INT8后如何评估性能收益和精度损失？
原题Triton Inference Server解决了模型服务化部署中的哪些问题？
原题Triton的模型仓库、Backend、Instance Group和Dynamic Batching分别是什么？
原题（进阶）Triton如何支持多模型部署、并发调度和GPU资源利用优化？
原题
暂无题目