模型基础与推理

本分类共 8 个专题 · 1191 道题

9269

大模型推理中的 Thinking Mode 如何影响输出过程与资源开销？

模型基础与推理推理与解码

原理机制

进阶

9294

端侧模型文件大小与运行时内存占用有什么区别，如何核算完整内存开销？

模型基础与推理推理优化与模型压缩

原理机制

进阶

9295

端侧推理的预处理应放在 CPU 还是硬件加速器上，如何取舍？

模型基础与推理推理优化与模型压缩

技术决策

进阶

9296

端侧模型推理耗时如何分阶段统计，首次运行与预热后有什么差异？

模型基础与推理推理优化与模型压缩

效果评估

进阶

9298

模型权重与中间结果的内存由谁分配和释放，如何管理生命周期？

模型基础与推理推理优化与模型压缩

原理机制

进阶

9300

INT8 量化如何把浮点值映射为整数，scale 与 zero-point 各有什么作用？

模型基础与推理推理优化与模型压缩

原理机制

进阶

9301

对称与非对称量化、按张量与按通道量化有什么区别？

模型基础与推理推理优化与模型压缩

比较选型

进阶

9302

训练后量化 PTQ 与量化感知训练 QAT 有什么区别，各有什么代价？

模型基础与推理推理优化与模型压缩

比较选型

进阶

9303

模型在电脑上正常、部署到板子后结果异常时，如何排查？

模型基础与推理推理优化与模型压缩

故障排查

进阶

9304

模型推理中如何减少输入、输出及中间数据的搬运？

模型基础与推理推理优化与模型压缩

方案设计

进阶