如何结合 Roofline 模型分析 Prefill 与 Decode 的性能特点?

未标记

Sorry o(╥﹏╥)o,暂无参考答案。带这道题,问问AI吧~

问 AI
本题目录

相关面经

2 篇

遂原科技

AI Infra 实习生
实习一面
查看原面经 →
Decode 阶段属于 compute bound 还是 memory bound,KV-Cache 量化提升的是哪方面性能

公司未注明

AI Infra
日常实习
查看原面经 →
prefill/decode 结合roofline讲

相关题目

4 题