真面经，好答案。面试之前，先来面栈。

推理优化与模型压缩

本分类共 8 个专题 · 1526 道题

已筛选

共 178 道题

排序：

16565
低精度矩阵乘为什么通常采用更宽的累加类型？
模型基础与推理推理优化与模型压缩
原理机制
进阶
1 篇面经
16567
拿到一个未量化模型后，怎样制定并实施量化方案？
模型基础与推理推理优化与模型压缩
方案设计
进阶
1 篇面经
16568
低比特量化增加了反量化等步骤，为什么仍可能加速推理？
模型基础与推理推理优化与模型压缩
原理机制
进阶
1 篇面经
16692
CUDA Kernel 启动开销怎样测量和减少？
模型基础与推理推理优化与模型压缩
方案设计
进阶
1 篇面经
16693
节点内有 NVLink、部分节点间有 RDMA 时，怎样规划分布式推理方案？
模型基础与推理推理优化与模型压缩
系统设计
进阶
1 篇面经
16694
现有量化工具或 AWQ、GPTQ 等算法达不到交付要求时，怎样分析并改进？
模型基础与推理推理优化与模型压缩
故障排查
进阶
1 篇面经
16695
推理框架中怎样配置 FP8 KV Cache，如何确认配置生效？
模型基础与推理推理优化与模型压缩
操作实践
进阶
1 篇面经
16696
FP8 量化在 Prefill 阶段带来了多少性能收益，怎样验证？
模型基础与推理推理优化与模型压缩
效果评估
进阶
1 篇面经
16802
移动端 AI 模型优化有哪些具体思路，怎样验证真实设备上的收益？
模型基础与推理推理优化与模型压缩
项目深挖
进阶
1 篇面经
16833
MindIE 的定位、主要能力及与训练框架的关系是什么？
模型基础与推理推理优化与模型压缩
概念解释
进阶
1 篇面经