真面经，好答案。面试之前，先来面栈。

推理优化与模型压缩

本分类共 8 个专题 · 1526 道题

已筛选

共 178 道题

排序：

16109
什么是 Two-batch Overlap，哪些场景可能成为负优化？
模型基础与推理推理优化与模型压缩
原理机制
进阶
1 篇面经
16112
如何评价跨 SM 的 PD 分离与 AF 分离方案？
模型基础与推理推理优化与模型压缩
技术决策
进阶
1 篇面经
16145
KV Cache 有哪些存储与加载方式，如何选择？
模型基础与推理推理优化与模型压缩
原理机制
进阶
1 篇面经
16209
大模型 FFN 的计算属于 GEMV 还是 GEMM，什么条件下不同？
模型基础与推理推理优化与模型压缩
原理机制
进阶
1 篇面经
16287
TensorRT 插件有什么作用，如何接入自定义计算？
模型基础与推理推理优化与模型压缩
原理机制
进阶
1 篇面经
16393
单卡推理中 Prefill 和 Decode 怎样衔接，解耦调度与分离部署有什么区别？
模型基础与推理推理优化与模型压缩
原理机制
进阶
1 篇面经
16394
命中 Prefix Cache 后，Attention 的输入参数与未命中时有什么差别？
模型基础与推理推理优化与模型压缩
原理机制
进阶
1 篇面经
16395
Prefill、Decode 的 Attention 与 MoE 计算分别适合哪些并行策略？
模型基础与推理推理优化与模型压缩
技术决策
进阶
1 篇面经
16396
一个优秀的大模型推理框架需要哪些核心能力？
模型基础与推理推理优化与模型压缩
开放讨论
—
1 篇面经
16404
模型量化时，有哪些方法可以维持准确率？
模型基础与推理推理优化与模型压缩
方案设计
进阶
1 篇面经