真面经，好答案。面试之前，先来面栈。

推理优化与模型压缩

本分类共 8 个专题 · 1526 道题

已筛选

共 178 道题

排序：

16836
部署 Qwen2-Audio 等音频模型时，怎样选择 vLLM 或 MindIE 等框架？
模型基础与推理推理优化与模型压缩
技术决策
进阶
1 篇面经
17858
Prefill 与 Decode 分离后，各节点应观察哪些利用率和性能指标？
模型基础与推理推理优化与模型压缩
效果评估
进阶
1 篇面经
18094
部署大模型时，怎样优化 GPU 上的 KV Cache？
模型基础与推理推理优化与模型压缩
方案设计
进阶
1 篇面经
18234
DeepSeek-V4 如何压缩 KV Cache，怎样计算其内存占用？
模型基础与推理推理优化与模型压缩
原理机制
进阶
1 篇面经
18519
怎样判断一个视觉模型能否部署到指定边缘 NPU 设备？
模型基础与推理推理优化与模型压缩
方案设计
进阶
1 篇面经
18692
模型推理服务怎样权衡首 Token 延迟与吞吐量？
模型基础与推理推理优化与模型压缩
技术决策
进阶
1 篇面经
18786
板端模型推理慢时，怎样区分算力与内存带宽瓶颈并减少搬运？
模型基础与推理推理优化与模型压缩
故障排查
进阶
1 篇面经
4598
LLM 批量推理与单请求推理有什么区别，为什么能提升吞吐？
模型基础与推理推理优化与模型压缩
比较选型
基础
暂无面经1 个题集来源
4985
TensorRT-LLM 如何优化大语言模型推理？
模型基础与推理推理优化与模型压缩
原理机制
进阶
暂无面经1 个题集来源
4986
llama.cpp 如何在常见 CPU 或消费级硬件上运行大语言模型？
模型基础与推理推理优化与模型压缩
原理机制
进阶
暂无面经1 个题集来源