AI系统与训练推理工程
大模型推理加速：调参优化。
在verl推理加速框架中如何调参？
大模型推理过程中可通过调节哪些参数提高性能？
原题完整原题
【推理优化手段】大模型推理加速：调参优化。具体包括：1. 在verl推理加速框架中如何调参？2. 大模型推理过程中可通过调节哪些参数提高性能？ 「百度文心、腾讯」
量化技术（如INT8/FP8/混合精度）在推理加速中的作用与优化：量化与硬件加速的关系；量化在特定场景的优化；量化对Prefill和Decode阶段提速的影响；
PD分离、vLLM、PagedAttention等推理加速技术。
原题完整原题
【推理加速与量化技术】量化技术（如INT8/FP8/混合精度）在推理加速中的作用与优化：量化与硬件加速的关系；量化在特定场景的优化；量化对Prefill和Decode阶段提速的影响；PD分离、vLLM、PagedAttention等推理加速技术。 「百度、阿里通义」
【推理性能优化】如何优化深度学习模型的推理性能? 「蚂蚁集团」
原题【推理时延优化】如何保证速度并减少模型推理时延？ 「腾讯」
原题【推理服务设计】什么时候会出现反压(backpressure)? 「字节Seed」
原题原问只明确背压处理，没有限定TCP长连接或消息协议；关联题的具体协议条件属于延伸语境。
了解加速推理框架吗？请列举常见的推理加速框架（如DeepSpeed、vLLM、SGLang等），并说明它们各自的特点和原理。
重点介绍DeepSpeed如何优化大模型推理、提高推理效率和资源利用率，
特别是PagedAttention如何提升显存利用率？相比传统推理框架有什么优势？
另外，是否使用过vLLM或SGLang？请解释其原理。
原题完整原题
【推理框架对比】了解加速推理框架吗？请列举常见的推理加速框架（如DeepSpeed、vLLM、SGLang等），并说明它们各自的特点和原理。重点介绍DeepSpeed如何优化大模型推理、提高推理效率和资源利用率，特别是PagedAttention如何提升显存利用率？相比传统推理框架有什么优势？另外，是否使用过vLLM或SGLang？请解释其原理。 「字节跳动、百度、腾讯、腾讯混元、蚂蚁集团、阿里巴巴」
【推理瓶颈诊断】大模型推理中常见的资源瓶颈有哪些？性能拐点在哪里？这种慢是来自模型结构还是推理策略？ 「字节跳动、百度、腾讯」
原题影响模型推理速度的因素有哪些？请解释：
小模型推理时平均步数比大模型更多的原因；
推理模型通常更慢的原因；
输入prompt长度增加两倍时，底层模型推理速度会慢多少？
随着序列长度增加，Transformer模型的计算量、访存量和计算密度如何变化？
原题完整原题
【推理速度影响因素】影响模型推理速度的因素有哪些？请解释：1）小模型推理时平均步数比大模型更多的原因；2）推理模型通常更慢的原因；3）输入prompt长度增加两倍时，底层模型推理速度会慢多少？4）随着序列长度增加，Transformer模型的计算量、访存量和计算密度如何变化？ 「字节跳动、百度、腾讯、腾讯混元、阿里巴巴」
【模型编译技术】模型编译技术(如TensorRT、TVM)在推理优化中的作用。用过TensorRT或其他推理引擎吗？部署中遇到过什么坑？并解释TensorRT在底层是如何加速推理的。 「快手、百度、腾讯」
原题【算子优化】算子的细粒度，过小与过大的好处与坏处。 「百度」
原题
暂无题目