推理与解码

本分类共 8 个专题 · 1155 道题

已筛选

共 31 道题

排序:

2757
Temperature、Top-k 和 Top-p 怎样影响模型采样?
模型基础与推理推理与解码
原理机制已有答案
进阶
2917
投机解码的原理是什么?
模型基础与推理推理与解码
原理机制
进阶
4606
什么是上下文窗口,它如何约束提示设计与模型效果?
模型基础与推理推理与解码
概念解释
基础
3686
大模型常见解码策略有哪些,贪心、Beam Search 与采样如何选择?
模型基础与推理推理与解码
比较选型
进阶
3711
大模型推理解码中的 Prefill 和 Decode 阶段分别做什么?
模型基础与推理推理与解码
原理机制
进阶
4608
Temperature 如何影响 Token 概率分布与生成结果?
模型基础与推理推理与解码
原理机制
基础
2279
为什么 Temperature 为 0 时模型输出仍可能有差异?
模型基础与推理推理与解码
原理机制
进阶
3700
Decoder-only 模型在训练和推理阶段的输入形式有什么不同?
模型基础与推理推理与解码
原理机制
进阶
3863
模型推理的 reasoning effort 高低控制什么,是否会改变最大输出 Token?
模型基础与推理推理与解码
原理机制
进阶
4607
大模型推理中,大上下文窗口与小上下文窗口各有什么优缺点?
模型基础与推理推理与解码
比较选型
进阶