AI系统与训练推理工程
【投机解码】Speculative Decoding（投机解码）的原理是什么？其接收策略的具体公式是什么？草稿模型和教师模型能否保证同分布？在什么场景下使用效果最好？如何与量化技术结合，以及结合时面临哪些工程挑战？vLLM支持哪种投机解码？总显存占用优化还是推理加速，是否加速首个token生成时间？ 「字节跳动、百度、腾讯、腾讯混元、阿里巴巴」
原题【推理优化总体思路】大模型推理性能优化怎么做？请从基本思路、具体方法（包括训练和推理加速）、软件优化（硬件给定情况下）等方面阐述，并说明如果优化方案上线后性能不达预期，如何持续优化？另请描述一个你优化模型推理性能的案例，包括具体的技术手段和效果。 「京东、字节跳动、百度、美团、腾讯、腾讯混元、阿里巴巴」
原题【推理延迟诊断】AI推理延迟高的诊断方法论及优化策略，可能涉及哪些技术层面？如果在模型推理过程中出现延迟问题或项目上线前发现推理速度不达标，你会如何优化？ 「字节跳动、腾讯」
原题【推理成本优化】如何在保证性能的前提下降低模型推理成本？请对比量化、batching、缓存、蒸馏/小模型兜底等手段的优先级并说明理由。 「京东、拼多多」
原题【推理服务设计】模态感知负载均衡？ 「百度」
原题来源未明确 LLMGenerator 所指的实现。
比较LLM推理框架的优缺点与使用场景：
LLMGenerator vs vLLM（优缺点）；
TensorRT-LLM vs vLLM（典型使用场景）；
vLLM vs SGLang（包括PagedAttention技术，SGLang相比vLLM的PagedAttention在推理延迟上的优势，以及如何选择vLLM和SGLang）。
原题完整原题
【推理框架对比】比较LLM推理框架的优缺点与使用场景：1. LLMGenerator vs vLLM（优缺点）；2. TensorRT-LLM vs vLLM（典型使用场景）；3. vLLM vs SGLang（包括PagedAttention技术，SGLang相比vLLM的PagedAttention在推理延迟上的优势，以及如何选择vLLM和SGLang）。 「字节跳动、百度、蚂蚁集团、阿里巴巴、阿里通义」
【推理瓶颈诊断】如何判断LLM推理过程中的瓶颈是什么？ 「阿里巴巴」
原题【模型编译技术】为什么很多时候要先把动态图转成静态图再去做融合优化，以及动态图和静态图转换本身的开销怎么处理。 「蚂蚁集团」
原题【流水线并行】PP推理时，是一个串行的过程，1个GPU计算，其他空闲，有没有其他方式？ 「腾讯混元」
原题【算子优化】算子优化到极致如何判断？能不能继续优化？算子访存效率、计算能到多满，怎么评估？ 「百度」
原题
暂无题目