命中 Prefix Cache 后,Attention 的输入参数与未命中时有什么差别?
Sorry o(╥﹏╥)o,暂无参考答案。带这道题,问问AI吧~
问 AI
本题目录
相关面经
1 篇寒武纪
AI Infra 实习生日常实习一面
Prefix Caching,命中 Prefix Caching 之后,attention 阶段的传参与不命中相比具体有什么差别
Sorry o(╥﹏╥)o,暂无参考答案。带这道题,问问AI吧~
Prefix Caching,命中 Prefix Caching 之后,attention 阶段的传参与不命中相比具体有什么差别