AI系统与训练推理工程
【FP8推理】FP8推理的优势，E4M3和E5M2格式的区别？ 「腾讯」
原题【KV Cache优化】KV Cache减半到底省了什么？请分析KV Cache的内存瓶颈，并讨论KV Cache的优化方法。kvcache压缩手段(MHA、MQA、GQA、MLA) 「字节Seed、阿里巴巴」
原题【PagedAttention】详细描述vLLM中KVCache管理机制的工作原理。请详细解释PagedAttention的原理、实现方式、解决的问题（如显存利用率低、KV Cache管理问题），以及它相比传统注意力机制的优势。同时说明vLLM中PagedAttention的工作机制，并对比PagedAttention与FlashAttention的区别。 「字节跳动、百度、百度文心、美团、腾讯、蚂蚁集团、阿里巴巴、阿里通义」
原题【Prefill与Decode阶段】大模型推理分哪两个阶段（Prefill与Decode）？每个阶段的特点是什么？请结合Roofline模型，详细解释Transformer推理中Prefill和Decode两个阶段的区别，包括：各自是计算密集型还是访存密集型？为什么不能提高计算效率？以及每个阶段对应的是GEMM还是GEVM操作？ 「字节Seed、字节跳动、小红书、百度、阿里巴巴、阿里通义」
原题来源未说明 prefix cache 的实现与所指融合算子。
prefix cache融合算子融合了哪些？
请介绍SGLang中的RadixAttention以及SGLang代码实现的相关内容。请介绍你对prefix cache的了解。你是否实现过VLLM的prefix cache？
原题完整原题
【Prefix Cache】1. prefix cache融合算子融合了哪些？ 2. 请介绍SGLang中的RadixAttention以及SGLang代码实现的相关内容。请介绍你对prefix cache的了解。你是否实现过VLLM的prefix cache？ 「字节Seed、字节跳动、百度、美团」
Transformer如何加速推理？请列举推理加速技术，并解释KV Cache是什么？
训练vs推理的并行性差异？
原题完整原题
【Transformer推理优化】Transformer如何加速推理？请列举推理加速技术，并解释KV Cache是什么？训练vs推理的并行性差异？ 「京东、字节跳动」
vLLM推理框架的核心优化点、核心优势、核心性能优势、核心优化原理、优点、功能、核心优势、相较于传统大模型框架的优势、解决的问题、在哪些场景下效果明显、核心原理技术点、如何实现推理加速？请全面阐述vLLM的优化措施、目的、工作原理及适用场景。
vLLM怎么进行异步调度？
vLLM提出的KVCache管理机制主要解决了什么问题？请详细说明KVCache管理的工作原理。
VLLM的请求调度机制具体是如何工作的？
vLLM的缺点有哪些？
vLLM离线批量推理。
之前的实习有对vllm里面的结构进行优化吗？
原题完整原题
【vLLM】vLLM推理框架的核心优化点、核心优势、核心性能优势、核心优化原理、优点、功能、核心优势、相较于传统大模型框架的优势、解决的问题、在哪些场景下效果明显、核心原理技术点、如何实现推理加速？请全面阐述vLLM的优化措施、目的、工作原理及适用场景。vLLM怎么进行异步调度？vLLM提出的KVCache管理机制主要解决了什么问题？请详细说明KVCache管理的工作原理。VLLM的请求调度机制具体是如何工作的？vLLM的缺点有哪些？vLLM离线批量推理。之前的实习有对vllm里面的结构进行优化吗？ 「快手、百度、腾讯、腾讯混元、蚂蚁集团、阿里巴巴」
【延迟与吞吐量】延迟和吞吐量你更关注哪一个？在推理服务中如何平衡？ 「百度」
原题【投机解码】投机解码具体解决什么问题？请结合推理框架，讲一下投机解码的技术原理。 「百度、腾讯」
原题【推理优化总体思路】性能优化怎么做？模型推理太慢了，你会从哪些维度去优化？是否有做过大模型在GPU上训练/推理的性能优化？模型推理优化除了传统算子，还会用什么样的架构或加速手段？比如优化推理速度、解决兼容性问题，效果如何？讲了讲项目中推理优化的一些手段。 「京东、百度、美团、腾讯、阿里巴巴」
原题
暂无题目