模型基础与推理

本分类共 8 个专题 · 1061 道题

已筛选

共 1061 道题

排序:

4168
模型量化如何实施,为什么选择 GPTQ、QAT 或 W8A16?
模型基础与推理推理优化与模型压缩
比较选型
深入
4297
常见 Attention 变体有哪些,Linear Attention 的基本思路是什么?
模型基础与推理Transformer 与注意力
原理机制
进阶
4345
长上下文推理中如何缓解 KV Cache 的内存碎片问题?
模型基础与推理推理优化与模型压缩
方案设计
进阶
4368
传统残差连接有什么局限,有哪些改进方向?
模型基础与推理模型架构与表示
原理机制
进阶
4369
模型参数量中的 B 是什么,如何根据业务选择参数规模?
模型基础与推理模型选型与能力边界
比较选型
进阶
4370
对话型模型与推理型模型有什么区别,各适用于哪些场景?
模型基础与推理模型选型与能力边界
比较选型
进阶
4419
Attention 与 Self-Attention 有什么关系和区别?
模型基础与推理Transformer 与注意力
比较选型
进阶
4499
大语言模型常用哪些激活函数,为什么采用这些函数?
模型基础与推理模型架构与表示
原理机制
进阶
4501
介绍你研读过的 Qwen、DeepSeek 等开源模型及其主要创新。
模型基础与推理模型架构与表示
经历介绍
—
4585
为什么大模型常采用子词分词,而非完整单词级分词?
模型基础与推理Tokenizer 与位置编码
比较选型
基础