推理优化与模型压缩

本分类共 8 个专题 · 1526 道题

已筛选

共 178 道题

排序:

5687
通道级混合精度量化如何按显著性分配位宽?
模型基础与推理推理优化与模型压缩
原理机制
进阶
5753
什么是稀疏模型,稀疏性何时能带来实际收益?
模型基础与推理推理优化与模型压缩
原理机制
进阶
5847
图像生成中的空间分块推理如何降低显存并处理接缝?
模型基础与推理推理优化与模型压缩
原理机制
进阶
6005
测试时数据增强如何反变换并融合预测,有哪些收益与代价?
模型基础与推理推理优化与模型压缩
原理机制
进阶
6083
实现 INT8 量化线性层。
模型基础与推理推理优化与模型压缩
代码题
深入
6088
实现分页 KV Cache 的寻址与注意力读取。
模型基础与推理推理优化与模型压缩
代码题
深入
6226
如何估算指定大模型一次推理的显存访问量?
模型基础与推理推理优化与模型压缩
原理机制
深入
6251
实现 INT8 Per-Tensor 量化与反量化。
模型基础与推理推理优化与模型压缩
代码题
进阶
6364
什么是直通估计器,为什么量化感知训练需要近似梯度?
模型基础与推理推理优化与模型压缩
原理机制
进阶
6365
如何为长短请求混合的 LLM 服务设计 KV Cache 淘汰策略?
模型基础与推理推理优化与模型压缩
方案设计
深入