推理服务如何结合 Cache Score 与 Load Score 设计 Cache-aware 路由?

未标记

Sorry o(╥﹏╥)o,暂无参考答案。带这道题,问问AI吧~

问 AI
本题目录

相关面经

1 篇

腾讯

AI Infra
二面
查看原面经 →
讲解Cache-aware推理路由方案,针对线上热点实例负载不均问题,说明cache score、load score双维度评估策略的设计思路。
说明Cache-aware路由方案中平衡系数lambda的取值逻辑、参数变动对整体缓存命中率的影响,以及对应的调优策略。

相关题目

4 题