模型基础与推理

本分类共 8 个专题 · 1061 道题

已筛选

共 1061 道题

排序:

6346
什么是 Overthinking,如何识别并控制过度推理?
模型基础与推理推理与解码
故障排查
进阶
6364
什么是直通估计器,为什么量化感知训练需要近似梯度?
模型基础与推理推理优化与模型压缩
原理机制
进阶
6365
如何为长短请求混合的 LLM 服务设计 KV Cache 淘汰策略?
模型基础与推理推理优化与模型压缩
方案设计
深入
6366
MoE 专家权重卸载如何工作,会怎样影响推理性能?
模型基础与推理推理优化与模型压缩
原理机制
深入
6367
MLX 如何利用 Apple Silicon 执行大模型推理?
模型基础与推理推理优化与模型压缩
原理机制
进阶
6368
llama.cpp 的 k-quants 如何组织分块量化,与普通均匀量化有何区别?
模型基础与推理推理优化与模型压缩
原理机制
进阶
6370
Mixture-of-Depths 如何按 Token 动态分配模型计算?
模型基础与推理模型架构与表示
原理机制
深入
6372
如何依据推理部署约束设计模型架构?
模型基础与推理推理优化与模型压缩
方案设计
深入
6377
SegFormer 如何通过层级 Transformer 与轻量解码器完成语义分割?
模型基础与推理多模态与生成模型
原理机制
进阶
6378
图像特征工程包含哪些工作,如何验证特征对任务的作用?
模型基础与推理多模态与生成模型
方案设计
进阶