返回全部题目← 上一题16 / 112下一题 →题库/模型基础与推理/Q-10748推理服务如何结合 Cache Score 与 Load Score 设计 Cache-aware 路由?知识专题:推理优化与模型压缩题目类型:方案设计技术难度:进阶相关面经:1 篇未标记未标记待复习已掌握收藏反馈(在 GitHub 新标签页打开)Sorry o(╥﹏╥)o,暂无参考答案。带这道题,问问AI吧~问 AIKimiKimi(新窗口打开)Qwen千问(新窗口打开)OpenAIChatGPT(新窗口打开)本题目录相关面经相关题目相关面经1 篇腾讯AI Infra2026-10-15二面查看原面经 →讲解Cache-aware推理路由方案,针对线上热点实例负载不均问题,说明cache score、load score双维度评估策略的设计思路。查看该问上下文 →说明Cache-aware路由方案中平衡系数lambda的取值逻辑、参数变动对整体缓存命中率的影响,以及对应的调优策略。查看该问上下文 →相关题目4 题0274Decoder-only 的 KV Cache 为什么缓存 K、V 而通常不缓存 Q?同一知识专题题目类型:原理机制技术难度:进阶相关面经:2 篇0277FlashAttention 为什么能节省显存并提速,是否改变注意力结果?同一知识专题题目类型:原理机制技术难度:进阶相关面经:5 篇0502有哪些大模型推理加速技术?同一知识专题题目类型:方案设计技术难度:进阶相关面经:6 篇0503模型剪枝、GPTQ 与 AWQ 量化方法。同一知识专题题目类型:比较选型技术难度:进阶相关面经:5 篇♥♥♥♥♥← 上一题已到最后一题← 上一题共享 Prefix Cache 后,如何通过写时复制隔离不同请求的后续生成?下一题 →跨实例 KV Cache 如何共享,与 Dynamo 调度方案有哪些取舍?