AI系统与训练推理工程
【vLLM】怎么做vLLM的auto tune，有什么方案？手撕vLLM。 「阿里巴巴、阿里通义」
原题“手撕 vLLM”未说明具体实现范围。
【投机解码】投机采样的加速比分析公式是什么？MoE模型的投机采样会遇到什么性能问题？ 「阿里巴巴」
原题LLM推理效率问题：部署到在线系统如何解决？从用户请求到模型返回的整个链路经历哪些环节？如何优化降低TTFT、提高吞吐量？Agent推理API低延迟响应系统级优化？
情景模拟：评估自动驾驶算法实时性瓶颈、梳理优化方向、设计初步方案、预估效果并汇报。
原题完整原题
【推理优化总体思路】LLM推理效率问题：部署到在线系统如何解决？从用户请求到模型返回的整个链路经历哪些环节？如何优化降低TTFT、提高吞吐量？Agent推理API低延迟响应系统级优化？情景模拟：评估自动驾驶算法实时性瓶颈、梳理优化方向、设计初步方案、预估效果并汇报。 「京东、美团、阿里巴巴」
【推理优化手段】用LibTorch Java绑定做推理时，如何借助Flink的窗口函数与Java的高效计算，处理时序数据以降低推理latency？ 「阿里巴巴」
原题【推理服务设计】请设计一个支持弹性伸缩的AI推理服务，应对流量高峰。 「京东」
原题【视觉推理优化】设计计算机视觉推理优化方案，目标是提升“京东科技工业质检系统”的实时性，说明：模型压缩方法（如INT8量化）、推理引擎选择（如TensorRT）、批处理策略及精度损失控制（如量化后准确率下降<1%）。 「京东」
原题【计算量与访存量】手撕DeepSeek V3的每次推理访存量手算。 「字节跳动」
原题【量化基础概念】模型量化是什么，为什么能加速推理？常见的量化方法有哪些？请谈谈对模型量化的了解。 「字节跳动、百度、腾讯混元、阿里巴巴」
原题【LoRA】介绍LoRA。 「字节跳动」
原题【剪枝】有没有尝试过模型裁剪? 「美团」
原题
暂无题目