部署大模型时，怎样优化 GPU 上的 KV Cache？
Sorry o(╥﹏╥)o，暂无参考答案。带这道题，问问AI吧~
问 AI
本题目录
相关面经
1 篇厦门光辰智能、广州省心购科技
面经合集校招
最后是好像懂技术但实际只是背他自己的八股，在面试时聊到prompt cache追问如何给部署大模型的显卡kv cache具体做优化，在我答不上来之后就用埋怨的语气反复说我应该更关注大模型底层原理。（我面的是agent又不是ai infra，不应该关注如何去做prompt cache吗）
Sorry o(╥﹏╥)o，暂无参考答案。带这道题，问问AI吧~
最后是好像懂技术但实际只是背他自己的八股，在面试时聊到prompt cache追问如何给部署大模型的显卡kv cache具体做优化，在我答不上来之后就用埋怨的语气反复说我应该更关注大模型底层原理。（我面的是agent又不是ai infra，不应该关注如何去做prompt cache吗）