真面经，好答案。面试之前，先来面栈。

推理优化与模型压缩

本分类共 8 个专题 · 1155 道题

已筛选

共 103 道题

排序：

2718
KV Cache 缓存什么，怎样影响推理速度和显存？
模型基础与推理推理优化与模型压缩
原理机制已有答案
进阶
12 篇面经6 个题集来源
0502
有哪些大模型推理加速技术？
模型基础与推理推理优化与模型压缩
方案设计已有答案
进阶
6 篇面经4 个题集来源
2176
模型的 Prompt Cache 如何工作？
模型基础与推理推理优化与模型压缩
原理机制
进阶
3 篇面经7 个题集来源
0277
FlashAttention 为什么能节省显存并提速，是否改变注意力结果？
模型基础与推理推理优化与模型压缩
原理机制已有答案
进阶
4 篇面经5 个题集来源
0503
模型剪枝、GPTQ 与 AWQ 量化方法。
模型基础与推理推理优化与模型压缩
比较选型已有答案
进阶
5 篇面经3 个题集来源
0516
模型如何实现超长上下文能力？
模型基础与推理推理优化与模型压缩
原理机制
进阶
3 篇面经5 个题集来源
0616
如何解决模型像复读机一样重复生成的问题？
模型基础与推理推理优化与模型压缩
故障排查已有答案
进阶
2 篇面经6 个题集来源
3618
vLLM 的 PagedAttention 如何工作？
模型基础与推理推理优化与模型压缩
原理机制
进阶
4 篇面经4 个题集来源
4583
模型量化如何影响推理速度与内存占用？
模型基础与推理推理优化与模型压缩
原理机制
进阶
2 篇面经6 个题集来源
2836
模型量化为什么能够发挥作用？
模型基础与推理推理优化与模型压缩
原理机制
进阶
3 篇面经4 个题集来源