真面经，好答案。面试之前，先来面栈。

推理优化与模型压缩

本分类共 8 个专题 · 1155 道题

已筛选

共 103 道题

排序：

0641
主流模型的上下文长度分别是多少？
模型基础与推理推理优化与模型压缩
比较选型已有答案
基础
3 篇面经1 个题集来源
4599
LLM Serving 中如何权衡吞吐量与请求时延？
模型基础与推理推理优化与模型压缩
比较选型
进阶
1 篇面经3 个题集来源
4614
什么是连续批处理，与静态批处理有什么区别？
模型基础与推理推理优化与模型压缩
比较选型
进阶
暂无面经4 个题集来源
4617
现代 GPU 上的大模型推理流水线有哪些主要性能瓶颈？
模型基础与推理推理优化与模型压缩
原理机制
进阶
2 篇面经2 个题集来源
4684
vLLM 通过哪些机制提高大模型推理效率？
模型基础与推理推理优化与模型压缩
原理机制
进阶
1 篇面经3 个题集来源
4685
模型量化后理解能力下降，应如何定位并补偿精度损失？
模型基础与推理推理优化与模型压缩
故障排查
进阶
2 篇面经2 个题集来源
4796
大语言模型的上下文窗口为什么有限？
模型基础与推理推理优化与模型压缩
原理机制
进阶
暂无面经4 个题集来源
4978
什么是 Chunked Prefill，它如何影响混合请求下的尾延迟？
模型基础与推理推理优化与模型压缩
原理机制
进阶
1 篇面经3 个题集来源
5554
模型剪枝有哪些方式，如何评估实际收益？
模型基础与推理推理优化与模型压缩
原理机制
进阶
1 篇面经3 个题集来源
5602
低精度浮点与整数量化在表示、缩放和硬件执行上有什么区别？
模型基础与推理推理优化与模型压缩
比较选型
进阶
1 篇面经3 个题集来源