推理与解码

本分类共 8 个专题 · 1061 道题

已筛选

共 28 道题

排序:

3712
大模型推理为什么需要 Prefill 阶段?
模型基础与推理推理与解码
原理机制
基础
4596
大模型训练与推理有什么区别?
模型基础与推理推理与解码
比较选型
基础
4603
Beam Search 与贪心解码有什么区别,Beam Width 如何影响计算与结果?
模型基础与推理推理与解码
比较选型
进阶
4608
Temperature 如何影响 Token 概率分布与生成结果?
模型基础与推理推理与解码
原理机制
基础
4609
自回归文本生成有哪些优势和局限?
模型基础与推理推理与解码
比较选型
进阶
4610
扩散式语言模型与自回归语言模型的文本生成机制有什么区别?
模型基础与推理推理与解码
比较选型
进阶
4739
用 Python 实现 Top-K 和 Top-P 采样。
模型基础与推理推理与解码
代码题
进阶
4752
用 Python 实现支持长度惩罚的 Beam Search。
模型基础与推理推理与解码
代码题
进阶
4770
如何根据束宽、序列长度和词表大小推导 Beam Search 的时间复杂度?
模型基础与推理推理与解码
原理机制
进阶
4797
Logits 是什么,如何参与大模型文本生成?
模型基础与推理推理与解码
原理机制
基础