真面经，好答案。面试之前，先来面栈。

推理优化与模型压缩

本分类共 8 个专题 · 1061 道题

已筛选

共 81 道题

排序：

4751
用 Python 和 PyTorch 实现自回归生成的 KV Cache。
模型基础与推理推理优化与模型压缩
代码题
深入
暂无面经7 份题集
4763
用分块与在线 Softmax 实现简化版 FlashAttention 前向计算。
模型基础与推理推理优化与模型压缩
代码题
深入
暂无面经3 份题集
4796
大语言模型的上下文窗口为什么有限？
模型基础与推理推理优化与模型压缩
原理机制
进阶
暂无面经3 份题集
4802
如何估算 KV Cache 显存，并分析批大小和上下文长度的限制？
模型基础与推理推理优化与模型压缩
原理机制
进阶
暂无面经5 份题集
4885
流水线并行推理时，如何减少设备空闲并提高利用率？
模型基础与推理推理优化与模型压缩
方案设计
深入
暂无面经3 份题集
4891
大模型推理时显存持续增加或请求结束后仍被占用，如何解释和排查？
模型基础与推理推理优化与模型压缩
故障排查
进阶
暂无面经2 份题集
4892
大模型在 CPU 与 GPU 上的推理速度有何差异，取决于哪些条件？
模型基础与推理推理优化与模型压缩
比较选型
进阶
暂无面经3 份题集
4978
什么是 Chunked Prefill，它如何影响混合请求下的尾延迟？
模型基础与推理推理优化与模型压缩
原理机制
进阶
暂无面经4 份题集
4984
SGLang 如何组织大模型推理执行并提高服务效率？
模型基础与推理推理优化与模型压缩
原理机制
进阶
暂无面经1 份题集
4985
TensorRT-LLM 如何优化大语言模型推理？
模型基础与推理推理优化与模型压缩
原理机制
进阶
暂无面经1 份题集