AI系统与训练推理工程
大模型推理时，“KV 缓存(KV Cache)”是降低计算量、提升响应速度的核心机制。
请解释 KV 缓存的存储原理，以及在长序列对话场景(如上下文长度超 4k)中，如何优化 KV 缓存的存储结构以减少内存占用？
具体包括：如何通过PagedAttention等分块管理技术优化KVCache内存碎片？请结合vLLM推理框架说明PagedAttention的核心思想。
如果Decoder采用BeamSearch算法，vLLM会如何管理KVCache？
本地部署时，如何平衡vLLM的上下文长度和显存占用？
原题完整原题
【KV Cache管理】大模型推理时，“KV 缓存(KV Cache)”是降低计算量、提升响应速度的核心机制。请解释 KV 缓存的存储原理，以及在长序列对话场景(如上下文长度超 4k)中，如何优化 KV 缓存的存储结构以减少内存占用？具体包括：如何通过PagedAttention等分块管理技术优化KVCache内存碎片？请结合vLLM推理框架说明PagedAttention的核心思想。如果Decoder采用BeamSearch算法，vLLM会如何管理KVCache？本地部署时，如何平衡vLLM的上下文长度和显存占用？ 「百度、腾讯、腾讯混元」
【LoRA推理优化】LoRA加载以后会导致延迟，如何缓解? 推理阶段为消除LoRA延迟，会做权重Merge吗？ 「腾讯混元、阿里巴巴」
原题MoE（混合专家）模型推理优化：
比较3B Dense模型与32B-a3B MoE模型的推理延迟与速度。
MoE推理优化关键点（专家切换成本、负载均衡等）。
部署235B MoE模型（千分三激活）所需算力估算。
原题完整原题
【MoE推理优化】MoE（混合专家）模型推理优化：1. 比较3B Dense模型与32B-a3B MoE模型的推理延迟与速度。2. MoE推理优化关键点（专家切换成本、负载均衡等）。3. 部署235B MoE模型（千分三激活）所需算力估算。 「百度、美团、腾讯」
【OOM排查】推理时出现OOM(Out of Memory)，你如何排查和解决？ 「百度」
原题【Prefill与Decode阶段】一个prefill和decode的配额控制策略，在负载高峰时给decode预留百分之三十的算力预算，P99延迟从三秒二降到八百毫秒。请解释该策略的原理和效果。 「阿里巴巴」
原题【TensorRT】简述TensorRT在多模态模型加速中的常用Trick(如算子融合)。 「腾讯」
原题【Transformer推理优化】针对Transformer模型的自回归推理过程，forward中有哪些冗余计算可以省去？你会采用哪些优化手段？ 「腾讯、蚂蚁集团」
原题【vLLM】vLLM v0和v1架构有什么区别，比如调度上有什么不同？另外，请解释PagedAttention、连续批处理、chunked prefill、prefix caching等核心机制。vLLM最近有什么新的比较好的特性？例如对DeepSeek V4 Pro的支持等最新进展。 「字节Seed、阿里巴巴」
原题【低资源部署】如何优化大模型在低资源设备上的部署？ 「腾讯混元」
原题【多模态推理优化】请举例说明你如何优化多模态模型的推理速度。 「蚂蚁集团」
原题
暂无题目