大模型请求跨实例迁移时,如何处理 KV Cache 与生成状态?

未标记

Sorry o(╥﹏╥)o,暂无参考答案。带这道题,问问AI吧~

问 AI
本题目录

相关面经

2 篇

阿里巴巴

后端开发 / Agent 开发
秋招二面
查看原面经 →
KV Cache 为什么会影响请求迁移?

阿里巴巴

后端开发 / Agent 开发
秋招一面
查看原面经 →
KV Cache 为什么会影响请求迁移?

相关题目

4 题