真面经，好答案。面试之前，先来面栈。

推理优化与模型压缩

本分类共 8 个专题 · 1145 道题

已筛选

共 103 道题

排序：

9295
端侧推理的预处理应放在 CPU 还是硬件加速器上，如何取舍？
模型基础与推理推理优化与模型压缩
技术决策
进阶
1 篇面经
9296
端侧模型推理耗时如何分阶段统计，首次运行与预热后有什么差异？
模型基础与推理推理优化与模型压缩
效果评估
进阶
1 篇面经
9298
模型权重与中间结果的内存由谁分配和释放，如何管理生命周期？
模型基础与推理推理优化与模型压缩
原理机制
进阶
1 篇面经
9300
INT8 量化如何把浮点值映射为整数，scale 与 zero-point 各有什么作用？
模型基础与推理推理优化与模型压缩
原理机制
进阶
1 篇面经
9301
对称与非对称量化、按张量与按通道量化有什么区别？
模型基础与推理推理优化与模型压缩
比较选型
进阶
1 篇面经
9302
训练后量化 PTQ 与量化感知训练 QAT 有什么区别，各有什么代价？
模型基础与推理推理优化与模型压缩
比较选型
进阶
1 篇面经
9303
模型在电脑上正常、部署到板子后结果异常时，如何排查？
模型基础与推理推理优化与模型压缩
故障排查
进阶
1 篇面经
9304
模型推理中如何减少输入、输出及中间数据的搬运？
模型基础与推理推理优化与模型压缩
方案设计
进阶
1 篇面经
9306
多个模型同时运行时，如何安排执行顺序和计算资源？
模型基础与推理推理优化与模型压缩
方案设计
进阶
1 篇面经
9644
实习中做过哪些 Attention 架构或工程优化，如何验证收益？
模型基础与推理推理优化与模型压缩
经历介绍
—
1 篇面经