返回全部题目← 上一题69 / 111下一题 →题库/AI 应用工程与治理/Q-5524如何设计兼顾吞吐、首 Token 延迟与租户公平性的推理调度器？知识专题：模型服务、部署与交付题目类型：系统设计技术难度：进阶收录题集：3 份暂无参考答案未标记未标记待复习已掌握收藏询问 AI选择 AI 平台KimiKimi（新窗口打开）Qwen千问（新窗口打开）OpenAIChatGPT（新窗口打开）自动带入当前题目本题目录收录题集相关题目收录题集3 份AI Infra 面试指南阿东玩 AI · AgentGuide · 1 条原题查看题集 →如何为长短请求混合的在线服务设计调度器？AI系统与训练推理工程阿东玩 AI · AgentGuide · 3 条原题查看题集 →【Prefill与Decode阶段】一个prefill和decode的配额控制策略，在负载高峰时给decode预留百分之三十的算力预算，P99延迟从三秒二降到八百毫秒。请解释该策略的原理和效果。 「阿里巴巴」【推理服务设计】模态感知负载均衡？ 「百度」【Router机制】router以什么方式存在？其启动方式及数据流到来时的具体处理流程（包括函数名）是什么？router的策略是什么？ 「字节Seed」工程化踩坑：死循环、状态丢失与成本控制Onefly · zero2Agent · 1 条原题查看题集 →如何设计同时兼顾吞吐、首 Token 延迟和租户公平性的推理调度器？相关题目4 题0079GUI Agent 或 Browser Use 在项目中如何部署？同一知识专题题目类型：项目深挖技术难度：深入相关面经：1 篇0107项目如何从本地部署到云端并完成上线？同一知识专题题目类型：系统设计技术难度：进阶相关面经：15 篇0285如何提升模型回答的性能？同一知识专题题目类型：方案设计技术难度：进阶相关面经：1 篇0448Redis、RabbitMQ 在 Windows 和 Linux 如何部署并验证配置加载？同一知识专题题目类型：操作实践技术难度：进阶相关面经：1 篇♥♥♥♥♥← 上一题已到最后一题← 上一题AgentOps、LLMOps 与 MLOps 的运维对象和职责有什么区别？下一题 →端侧大模型如何比较模型与运行环境的适用性？
