共享 Prefix Cache 后,如何通过写时复制隔离不同请求的后续生成?

未标记

Sorry o(╥﹏╥)o,暂无参考答案。带这道题,问问AI吧~

问 AI
本题目录

相关面经

1 篇

MiniMax

AI 应用开发
实习一面
查看原面经 →
prefix cache 共享之后,一个请求继续生成会不会污染别人?
追问
copy-on-write 在哪一步触发?

相关题目

4 题