已筛选

共 6433 道题

排序:

4597
什么是大模型推理时延,为什么它对应用重要?
AI 应用工程与治理性能、时延与成本
概念解释
基础
4598
LLM 批量推理与单请求推理有什么区别,为什么能提升吞吐?
模型基础与推理推理优化与模型压缩
比较选型
基础
4599
LLM Serving 中如何权衡吞吐量与请求时延?
模型基础与推理推理优化与模型压缩
比较选型
进阶
4603
Beam Search 与贪心解码有什么区别,Beam Width 如何影响计算与结果?
模型基础与推理推理与解码
比较选型
进阶
4608
Temperature 如何影响 Token 概率分布与生成结果?
模型基础与推理推理与解码
原理机制
基础
4609
自回归文本生成有哪些优势和局限?
模型基础与推理推理与解码
比较选型
进阶
4610
扩散式语言模型与自回归语言模型的文本生成机制有什么区别?
模型基础与推理推理与解码
比较选型
进阶
4614
什么是连续批处理,与静态批处理有什么区别?
模型基础与推理推理优化与模型压缩
比较选型
进阶
4615
大模型推理为什么使用混合精度,它有哪些收益与限制?
模型基础与推理推理优化与模型压缩
原理机制
进阶
4617
现代 GPU 上的大模型推理流水线有哪些主要性能瓶颈?
模型基础与推理推理优化与模型压缩
原理机制
进阶