如何理解 Agent 中 Harness 的作用？

核心回答

Agent 中的 Harness 是围绕模型搭建的执行系统，负责把模型的判断转成实际操作，再把操作结果反馈给模型。模型主要负责理解任务、推理和选择动作；Harness 负责提供上下文、执行工具、维护状态，并落实权限、预算和验证规则。

可以从四项职责理解它：

1. 准备上下文：组织任务要求、历史消息和相关资料，控制每次调用给模型看什么。
2. 执行动作：提供工具和运行环境，校验调用参数与权限，执行后返回真实结果或错误。
3. 管理过程：维护任务状态，限制循环次数、时间和成本，并按任务需要保存恢复点。
4. 验证与反馈：通过测试、业务规则和执行日志判断结果是否达标，失败时让模型修正或转人工处理。

例如查询两座城市的天气，模型可以决定调用哪个工具、传什么城市；真正发起查询、处理超时、回传温度和检查结果是否齐全的，是 Harness。它的作用是让 Agent 能持续、可控地完成任务，而不只是生成一段看起来合理的回答。

展开说明

模型生成调用请求，Harness 才真正执行

以“比较北京和上海今天谁更热”为例，运行过程可以这样拆：

1. Harness 把用户问题、天气工具说明和必要的历史消息交给模型。
2. 模型生成查询城市的工具调用请求。Harness 检查工具是否存在、参数是否符合约定，以及当前任务是否有调用权限。
3. 工具执行查询，返回城市、温度、时间等数据；如果请求超时，就回传明确的失败信息。
4. Harness 把工具结果交给模型，模型据此比较并生成回答。如果只查到一座城市，系统应继续补查或明确说明缺少数据。

这里的关键是：模型说“查到了”，不等于工具真的执行成功；生成了最终回答，也不等于任务已经满足验收条件。 Harness 要让模型的动作、外部执行结果和最终结论能够对应起来。

提示词、上下文工程和 Harness 分别解决什么

提示词主要说明目标、规则和输出要求；上下文工程负责挑选、组织模型当前需要的信息；Harness 还要负责信息之外的执行、状态、约束和反馈。它们会配合使用，并不是互相替代的三个产品。

例如在提示词里写“只读查询”，可以帮助模型选择正确动作；真正限制数据库账号只能读取数据，仍要靠工具接口和权限系统。类似地，写“完成后测试”只是行为要求，提供测试环境、执行测试并读取退出码，才形成可检查的反馈。

Harness 也不等于某一个框架。框架可以提供循环、检查点和中间件，但具体业务的权限判断、验收标准和恢复策略，仍需接入这些能力。

长任务为什么需要状态和恢复机制

长任务会遇到上下文容量有限、工具失败、进程中断或重复执行。只保留聊天记录，下一轮可能不知道哪些步骤真正完成、哪些操作只尝试过。

因此应把关键状态单独保存，例如当前目标、已完成步骤、产物位置和验证结果；上下文太长时，保留关键事实并按需读取原始材料。恢复时先检查当前环境与记录是否一致，再继续未完成部分。

状态恢复不等于外部操作自动回滚。例如一次写入已经成功，只是响应丢失，恢复后直接重试可能造成重复写入。这类动作还要结合幂等键、操作状态查询或业务补偿设计。

循环控制也不能只靠模型主动停下。Harness 应设置最大步数、总耗时或成本预算，并识别连续相同错误、重复调用等无进展情况；达到边界后停止、降级或交给人工处理。

怎样判断 Harness 是否有效

先明确任务成功条件，再检查它解决了什么失败。例如天气比较要核对两地数据是否齐全、时间是否符合要求，而不是只检查回答是否流畅。

保留每轮模型调用、工具参数、执行结果、错误和耗时，能够区分失败来自模型选错动作、参数错误、外部服务异常，还是状态恢复有问题。改动工具说明、上下文策略或模型后，用同一批代表性任务回归，比较任务成功、越权拦截、恢复表现和资源开销。

系统复杂度应跟任务匹配。简单任务可能只需要清晰的输入、少量工具和结果校验；多步骤、有写入副作用或需要跨会话继续的任务，再补持久化、审批和恢复机制。

递进追问

Harness 和 Evaluation Harness 有什么区别？

Agent Harness 主要负责让模型在环境中执行任务；Evaluation Harness 主要负责提供评测任务、可控环境和评分逻辑，判断 Agent 的表现。两者可以共用执行日志和测试工具，但“能运行”和“能可靠评价”是不同职责。

模型越来越强，Harness 还需要吗？

更强的模型可能减少复杂提示、格式修补和过度规划等辅助逻辑，但工具执行、身份权限、外部状态、资源预算和结果验收仍需要系统实现。应通过回归测试精简已无收益的机制，同时保留实际业务需要的约束。

如果 Agent 一直重试同一个失败，先改模型吗？

先看执行记录：错误是否可读、参数是否稳定错误、工具是否缺少必要能力，以及系统有没有检测无进展。参数错误应给出字段级反馈；短暂服务故障可以有限重试；权限不足或确定性业务错误则应停止或换路径。只有确认模型持续误判这些反馈，才进一步考虑调整提示或模型。

对应教程

参考资料