模型基础与推理

本分类共 8 个专题 · 1061 道题

已筛选

共 1061 道题

排序:

5042
GGUF 如何组织模型权重与元数据并支持推理加载?
模型基础与推理推理优化与模型压缩
原理机制
进阶
5098
规则专家系统有哪些能力边界,在什么条件下优于深度学习方案?
模型基础与推理模型选型与能力边界
比较选型
进阶
5203
大语言模型的“大”体现在哪些规模维度,规模与能力应如何区分?
模型基础与推理模型架构与表示
概念解释
基础
5204
通用大模型、行业垂直模型与任务专项模型有什么区别?
模型基础与推理模型选型与能力边界
概念解释
基础
5206
大语言模型为什么存在知识截止,如何获得更新的信息?
模型基础与推理模型选型与能力边界
原理机制
基础
5209
位置内插、NTK-aware、YaRN 与 LongRoPE 如何扩展 RoPE 上下文?
模型基础与推理Tokenizer 与位置编码
比较选型
深入
5210
Ring Attention 如何通过跨设备分块计算扩展长序列注意力?
模型基础与推理Transformer 与注意力
原理机制
深入
5211
QK-Norm 如何控制注意力分数尺度,与 FlashAttention 的优化目标有何不同?
模型基础与推理Transformer 与注意力
原理机制
进阶
5224
为什么混合使用递归状态与全局注意力,两者如何互补?
模型基础与推理Transformer 与注意力
原理机制
深入
5225
AttnRes、mHC 与门控残差如何改变跨层信息流,各有什么取舍?
模型基础与推理模型架构与表示
比较选型
深入