多租户模型服务如何按需加载并快速切换大量 LoRA 适配器？

知识专题：模型服务、部署与交付题目类型：系统设计技术难度：深入

收录题集：1 份

暂无参考答案

未标记

询问 AI

选择 AI 平台

Kimi 千问 ChatGPT

自动带入当前题目

本题目录

收录题集

1 份

AI系统与训练推理工程

阿东玩 AI · AgentGuide · 1 条原题

查看题集 →

- 【LoRA权重快速切换】假设要在腾讯云上提供一个支持企业用户高度自定义微调(如LoRA)的多模态API集群服务，如何设计底层的模型加载架构，以支持数万个不同客户的LoRA权重实现毫秒级快速切换，且不会造成服务器显存瓶颈？「腾讯」