真面经，好答案。面试之前，先来面栈。

推理优化与模型压缩

本分类共 8 个专题 · 1061 道题

已筛选

共 81 道题

排序：

4986
llama.cpp 如何在常见 CPU 或消费级硬件上运行大语言模型？
模型基础与推理推理优化与模型压缩
原理机制
进阶
暂无面经1 份题集
5039
Medusa 如何通过多个解码头加速大模型生成？
模型基础与推理推理优化与模型压缩
原理机制
深入
暂无面经2 份题集
5040
EAGLE 如何通过特征层面的投机解码加速生成？
模型基础与推理推理优化与模型压缩
原理机制
深入
暂无面经3 份题集
5041
N-gram 投机解码如何利用已有文本提出候选并加速生成？
模型基础与推理推理优化与模型压缩
原理机制
进阶
暂无面经1 份题集
5042
GGUF 如何组织模型权重与元数据并支持推理加载？
模型基础与推理推理优化与模型压缩
原理机制
进阶
暂无面经2 份题集
5554
模型剪枝有哪些方式，如何评估实际收益？
模型基础与推理推理优化与模型压缩
原理机制
进阶
暂无面经6 份题集
5601
在线推理请求被抢占后，如何恢复计算和 KV 状态？
模型基础与推理推理优化与模型压缩
原理机制
进阶
暂无面经2 份题集
5602
低精度浮点与整数量化在表示、缩放和硬件执行上有什么区别？
模型基础与推理推理优化与模型压缩
比较选型
进阶
暂无面经9 份题集
5606
CUDA Graph 如何降低推理提交开销，对形状和显存有什么要求？
模型基础与推理推理优化与模型压缩
原理机制
进阶
暂无面经4 份题集
5678
视觉 Token 剪枝与合并如何利用文本相关性和模型阶段选择保留信息？
模型基础与推理推理优化与模型压缩
原理机制
进阶
暂无面经4 份题集