真面经，好答案。面试之前，先来面栈。

推理优化与模型压缩

本分类共 8 个专题 · 1061 道题

已筛选

共 81 道题

排序：

3713
KV Cache 为什么容易造成显存利用率低？
模型基础与推理推理优化与模型压缩
故障排查
进阶
暂无面经1 份题集
4583
模型量化如何影响推理速度与内存占用？
模型基础与推理推理优化与模型压缩
原理机制
进阶
暂无面经7 份题集
4598
LLM 批量推理与单请求推理有什么区别，为什么能提升吞吐？
模型基础与推理推理优化与模型压缩
比较选型
基础
暂无面经1 份题集
4599
LLM Serving 中如何权衡吞吐量与请求时延？
模型基础与推理推理优化与模型压缩
比较选型
进阶
暂无面经3 份题集
4614
什么是连续批处理，与静态批处理有什么区别？
模型基础与推理推理优化与模型压缩
比较选型
进阶
暂无面经7 份题集
4615
大模型推理为什么使用混合精度，它有哪些收益与限制？
模型基础与推理推理优化与模型压缩
原理机制
进阶
暂无面经1 份题集
4617
现代 GPU 上的大模型推理流水线有哪些主要性能瓶颈？
模型基础与推理推理优化与模型压缩
原理机制
进阶
暂无面经5 份题集
4684
vLLM 通过哪些机制提高大模型推理效率？
模型基础与推理推理优化与模型压缩
原理机制
进阶
暂无面经7 份题集
4685
模型量化后理解能力下降，应如何定位并补偿精度损失？
模型基础与推理推理优化与模型压缩
故障排查
进阶
暂无面经4 份题集
4717
大模型解码速度为什么经常受显存带宽限制？
模型基础与推理推理优化与模型压缩
原理机制
进阶
暂无面经6 份题集