推理优化与模型压缩

本分类共 8 个专题 · 1526 道题

6366

MoE 专家权重卸载如何工作，会怎样影响推理性能？

模型基础与推理推理优化与模型压缩

原理机制

深入

暂无面经 1 个题集来源

6367

MLX 如何利用 Apple Silicon 执行大模型推理？

模型基础与推理推理优化与模型压缩

原理机制

进阶

暂无面经 1 个题集来源

6368

llama.cpp 的 k-quants 如何组织分块量化，与普通均匀量化有何区别？

模型基础与推理推理优化与模型压缩

原理机制

进阶

暂无面经 1 个题集来源

6372

如何依据推理部署约束设计模型架构？

模型基础与推理推理优化与模型压缩

方案设计

深入

暂无面经 1 个题集来源

6423

SVDQuant 与 Nunchaku 如何结合低秩分支和低比特执行加速扩散模型？

模型基础与推理推理优化与模型压缩

原理机制

进阶

暂无面经 1 个题集来源

6424

扩散模型如何在去噪步骤间复用特征并控制缓存误差？

模型基础与推理推理优化与模型压缩

原理机制

进阶

暂无面经 1 个题集来源

7910

稀疏矩阵向量乘 SpMV 如何实现，CSR 与 COO 格式怎样影响计算？

模型基础与推理推理优化与模型压缩

方案设计

进阶

8347

部署小模型时，如何降低推理时延，尤其是 Prefill 阶段的时延？

模型基础与推理推理优化与模型压缩

方案设计

进阶

8348

新请求的 Prefill 会不会抢占正在 Decode 的请求，如何设计混合调度？

模型基础与推理推理优化与模型压缩

原理机制

进阶

8350

W8A16 量化模型在 Forward 中怎样完成权重读取和计算？

模型基础与推理推理优化与模型压缩

原理机制

进阶