Agent 上线后延迟或吞吐不达标时，如何优化执行效率？
未标记
询问 AI
考查重点：执行瓶颈与质量、效率权衡。用 trace 找耗时段：独立工具并行、稳定结果缓存、简单步骤用小模型；比较优化前后的质量、延迟与吞吐
本题目录
参考答案
核心回答
先把一次Agent请求拆成排队、模型调用、检索、工具执行和结果验证，用trace与负载测试找关键路径，再针对瓶颈减少串行轮次、并行独立任务、精简上下文、复用稳定结果或优化模型服务。延迟与吞吐还要分开看：单次任务更快，不一定代表高并发下更稳定。
优化必须守住任务成功率和资源预算，并比较p50、p95、超时率、首段响应、完整完成时间和单位成功任务成本。不能只看token每秒，或把启用流式当作总计算时间必然缩短。
先确定慢在哪里
为整条任务建立父trace，各模型与工具调用为子span，记录输入输出token、缓存命中、重试、队列等待、并发与终止原因。区分单次调用慢、调用太多、外部服务慢和资源过载。
例如三个独立查询各需200ms，串行约600ms，并行的理想关键路径约200ms；如果第二个查询必须使用第一个的结果，就不能直接并行。实际还会有调度、连接与限流开销，这只是时序推演。
按层优化
流程层。 合并重复请求，把确定性步骤改为普通程序；给循环设无进展终止和有限重试。只并行没有数据或副作用冲突的步骤，保留必要的结果校验。
上下文与模型层。 按任务选择能力足够的模型，减少无关历史与重复工具描述，合理约束输出长度。固定公共前缀可利用供应商或本地前缀缓存；结果缓存还要考虑用户权限、数据时效、参数和版本。
工具与服务层。 复用连接、批量查询、建立索引，给慢服务设置超时与降级。模型服务按实际负载调整批处理、并发和资源；过度提高并发会推高队列时延及超时，重试又可能形成放大循环。
交互层。 流式返回可提前展示内容或阶段进度，改善等待体验；同时处理客户端断开后的取消与资源回收，避免用户走了任务仍持续耗费资源。
怎样证明优化有效
在相同任务分布、输入输出预算、硬件与版本下回放代表性流量，逐步增加并发，观察吞吐何时饱和、尾延迟何时陡增。先单项改动，再组合验证，报告质量、费用与性能的共同变化；关键任务保留小流量灰度和回滚条件。
对应教程
- 10-LangChain快速上手与HelloWorld：回看一次性返回与流式显示的差别，本文补充关键路径、负载与吞吐分析。
参考资料
- 国内：Snailclimb：AI可观测性与Trace：依据 Trace 对模型、工具、排队与应用耗时的拆分，说明正文中执行延迟的定位方法。
- 国内：WeThinkIn：AgentOps：失败归因与发布回滚：依据失败重试、发布回滚与性能回归监控，说明正文中如何判断效率下降是否来自重试或版本变化。
- 国内：阿里云：上下文缓存：依据相同前缀缓存的命中条件与成本边界，说明正文中哪些重复输入适合用缓存减少计算。
- 国外：Anthropic：Reducing latency：采用模型选择、输入输出与流式的时延维度，说明正文中如何按调用阶段选择优化措施。
- 国外：Hugging Face：Streaming：依据逐段返回机制，区分正文中的首段等待体验和完整任务时间，说明流式输出实际改善的环节。
