真面经，好答案。面试之前，先来面栈。

推理优化与模型压缩

本分类共 8 个专题 · 1155 道题

已筛选

共 103 道题

排序：

4802
如何估算 KV Cache 显存，并分析批大小和上下文长度的限制？
模型基础与推理推理优化与模型压缩
原理机制
进阶
3 篇面经4 个题集来源
1665
上下文压缩后 KV Cache 是否失效？
模型基础与推理推理优化与模型压缩
原理机制已有答案
进阶
5 篇面经1 个题集来源
0505
如何优化长文本生成中的显存占用？
模型基础与推理推理优化与模型压缩
方案设计已有答案
进阶
2 篇面经3 个题集来源
2465
Lost in the Middle 现象是什么原理？
模型基础与推理推理优化与模型压缩
原理机制
进阶
1 篇面经4 个题集来源
2776
如何降低 KV Cache 空间开销，MQA 等结构起什么作用？
模型基础与推理推理优化与模型压缩
方案设计
进阶
2 篇面经3 个题集来源
3534
SGLang 与 vLLM 的机制有何不同，如何比较推理延迟？
模型基础与推理推理优化与模型压缩
比较选型
进阶
2 篇面经3 个题集来源
3649
如何降低多头注意力的计算开销？
模型基础与推理推理优化与模型压缩
方案设计
进阶
2 篇面经3 个题集来源
4168
模型量化如何实施，为什么选择 GPTQ、QAT 或 W8A16？
模型基础与推理推理优化与模型压缩
比较选型
深入
1 篇面经4 个题集来源
4716
什么是 Prefill 与 Decode 分离，为什么要分离部署？
模型基础与推理推理优化与模型压缩
原理机制
进阶
1 篇面经4 个题集来源
0274
Decoder-only 的 KV Cache 为什么缓存 K、V 而通常不缓存 Q？
模型基础与推理推理优化与模型压缩
原理机制
进阶
2 篇面经2 个题集来源