推理优化与模型压缩

本分类共 8 个专题 · 1526 道题

9294

端侧模型文件大小与运行时内存占用有什么区别，如何核算完整内存开销？

模型基础与推理推理优化与模型压缩

原理机制

进阶

9295

端侧推理的预处理应放在 CPU 还是硬件加速器上，如何取舍？

模型基础与推理推理优化与模型压缩

技术决策

进阶

9296

端侧模型推理耗时如何分阶段统计，首次运行与预热后有什么差异？

模型基础与推理推理优化与模型压缩

效果评估

进阶

9303

模型在电脑上正常、部署到板子后结果异常时，如何排查？

模型基础与推理推理优化与模型压缩

故障排查

进阶

9644

实习中做过哪些 Attention 架构或工程优化，如何验证收益？

模型基础与推理推理优化与模型压缩

经历介绍

—

9645

模型推理中如何界定长序列，哪些成本会随长度增长？

模型基础与推理推理优化与模型压缩

概念解释

进阶

9647

MLA 与 SFA 注意力有什么区别？

模型基础与推理推理优化与模型压缩

比较选型

进阶

9838

怎样优化离线模型推理的整体吞吐？

模型基础与推理推理优化与模型压缩

方案设计

进阶