返回全部题目← 上一题81 / 111下一题 →题库/AI 应用工程与治理/Q-5754推理框架提供哪些核心能力，常见框架如何选型？知识专题：模型服务、部署与交付题目类型：比较选型技术难度：进阶收录题集：6 份暂无参考答案未标记未标记待复习已掌握收藏询问 AI选择 AI 平台KimiKimi（新窗口打开）Qwen千问（新窗口打开）OpenAIChatGPT（新窗口打开）自动带入当前题目本题目录收录题集相关题目收录题集6 份公司案例问答汇编阿东玩 AI · AgentGuide · 2 条原题查看题集 →项目:模型部署用了什么框架(vLLM/TGI/自研)?项目:模型部署用了什么框架(vLLM/TGI/自研)?八股:了解加速推理框架DeepSpeed吗?AI系统与训练推理工程阿东玩 AI · AgentGuide · 11 条原题查看题集 →【推理框架对比】解释TensorRT、ONNXRuntime等推理框架的作用，并说明你会使用哪些推理加速框架？ 「百度、蚂蚁集团」介绍下Text generation inference？ 「腾讯混元」推理框架对比了解加速推理框架吗？请列举常见的推理加速框架（如DeepSpeed、vLLM、SGLang等），并说明它们各自的特点和原理。重点介绍DeepSpeed如何优化大模型推理、提高推理效率和资源利用率，另外，是否使用过vLLM或SGLang？请解释其原理。展开其余 8 条原题推理框架对比 比较LLM推理框架的优缺点与使用场景：LLMGenerator vs vLLM（优缺点）；TensorRT-LLM vs vLLM（典型使用场景）；vLLM vs SGLang（包括PagedAttention技术，SGLang相比vLLM的PagedAttention在推理延迟上的优势，以及如何选择vLLM和SGLang）。【llama.cpp】llama.cpp了解吗？ 「字节跳动」【推理框架使用经验】你在项目中用过哪些模型推理框架？请列举大模型推理部署的主流框架。vLLM用过吗？vLLM API Server？线上推理用的是什么？ 「字节跳动、腾讯混元、阿里巴巴」【Text Generation Inference】Text generation inference的优点、缺点、功能有哪些？以及如何使用docker运行web server？ 「腾讯混元」【推理框架对比】推理框架对比：SGLang和vLLM在推理服务中分别适合什么场景？Ollama和vLLM区别在哪儿？为何选择vLLM？ 「字节跳动、百度、腾讯混元」【推理框架特点与设计理念】推理框架的特点和设计理念，以及与传统框架不同的地方。 「百度」【推理框架搭建】推理框架是如何搭建的？ 「阿里通义」【开源框架使用经验】是否真正用过verl、vLLM、Ray、DeepSpeed？用过哪些开源框架，DeepSeed，PyTorch等？ 「字节Seed」中科闻歌高频面试题Rocky Ding · AIGC-Interview-Book · 1 条原题查看题集 →本地部署的框架如何搭建推理框架知识点Rocky Ding · AIGC-Interview-Book · 1 条原题查看题集 →常见推理框架介绍模型部署精华 · 推理部署综述Rocky Ding · AIGC-Interview-Book · 2 条原题查看题集 →讲一下你对推理框架的理解传统深度学习推理框架有哪些？适用场景与选型依据是什么？展开剩余 1 份题集模型部署精华 · ONNX 与 TensorRTRocky Ding · AIGC-Interview-Book · 1 条原题查看题集 →（进阶）ONNX Runtime、TensorRT和OpenVINO在传统模型部署中如何选型？相关题目4 题0079GUI Agent 或 Browser Use 在项目中如何部署？同一知识专题题目类型：项目深挖技术难度：深入相关面经：1 篇0107项目如何从本地部署到云端并完成上线？同一知识专题题目类型：系统设计技术难度：进阶相关面经：15 篇0285如何提升模型回答的性能？同一知识专题题目类型：方案设计技术难度：进阶相关面经：1 篇0448Redis、RabbitMQ 在 Windows 和 Linux 如何部署并验证配置加载？同一知识专题题目类型：操作实践技术难度：进阶相关面经：1 篇♥♥♥♥♥← 上一题已到最后一题← 上一题如何在 Stable Diffusion 单文件检查点与 Diffusers 目录格式之间转换模型？下一题 →移动端和边缘设备推理框架如何选型？
