推理框架知识点题集来源：Rocky Ding（WeThinkIn）收录项目：AIGC-Interview-Book查看原题集 题目目录21 道原题隐藏关联题目排序默认排序面经最多11在AI行业中，一些模型经过端侧部署框架转换格式后，在GPU上为什么比CPU跑得慢？原题 关联题目大模型在 CPU 与 GPU 上的推理速度有何差异，取决于哪些条件？模型基础与推理 / 推理优化与模型压缩比较选型进阶0篇相关面经12ONNX的相关知识原题 关联题目何时将模型导出为 ONNX，需要验证哪些兼容性？模型训练与对齐 / 训练框架、调参与排障比较选型进阶0篇相关面经13ONNX模型转换及优化原题 关联题目何时将模型导出为 ONNX，需要验证哪些兼容性？模型训练与对齐 / 训练框架、调参与排障比较选型进阶0篇相关面经14onnxsim的介绍原题 关联题目模型部署中的计算图简化与优化如何工作？AI 应用工程与治理 / 模型服务、部署与交付原理机制进阶0篇相关面经15如何将ONNX模型从GPU切换到CPU中进行缓存？原题 关联题目多个模型共享 GPU 时，如何管理显存与模型驻留？AI 应用工程与治理 / 模型服务、部署与交付系统设计深入0篇相关面经16TensorRT的相关知识原题 关联题目TensorRT 如何优化模型并构建、执行 Engine？AI 应用工程与治理 / 模型服务、部署与交付原理机制进阶0篇相关面经17TensorRT之trtexec的简单使用介绍原题 关联题目如何使用 trtexec 构建和评测 TensorRT Engine？AI 应用工程与治理 / 模型服务、部署与交付操作实践进阶0篇相关面经18TensorRT模型转换原题 关联题目TensorRT 如何优化模型并构建、执行 Engine？AI 应用工程与治理 / 模型服务、部署与交付原理机制进阶0篇相关面经19如何构建TensorRT模型的缓存机制？原题 关联题目多个模型共享 GPU 时，如何管理显存与模型驻留？AI 应用工程与治理 / 模型服务、部署与交付系统设计深入0篇相关面经20Triton-Inference-Server推理框架介绍原题 关联题目Triton Inference Server 如何组织模型服务和并发调度？AI 应用工程与治理 / 模型服务、部署与交付原理机制进阶0篇相关面经暂无题目共 21 道原题 · 显示 11–20 道展开全部21题上一页1232 / 3下一页