GPU 有限时，如何调度共存的推理与微调任务以保障时延和吞吐？

知识专题：模型服务、部署与交付题目类型：系统设计技术难度：深入

收录题集：1 份

暂无参考答案

未标记

询问 AI

选择 AI 平台

Kimi 千问 ChatGPT

自动带入当前题目

本题目录

收录题集

1 份

Agent 核心面试题

阿东玩 AI · AgentGuide · 1 条原题

查看题集 →

- 如果你要在 GPU 资源有限的条件下同时提供推理和微调服务，如何做资源分配和任务调度以保证时延和吞吐？