如何提升 Agent 的长程任务能力？

核心回答

提升Agent长程能力，训练侧要让模型学会多步目标保持、动作决策与错误恢复：构建高质量长轨迹和偏离后的纠正数据，按当前能力逐步增加任务长度与难度，再用可验证环境反馈优化整条任务的成功。系统侧用结构化状态、上下文接续、工具校验和检查点支撑持续执行。

评估应按任务所需长度与依赖深度分桶，在相同推理预算下比较终局成功率、首错位置和恢复能力。增加上下文长度或最大步数只是提供资源，不代表模型已经学会长期规划。

一、训练数据不只是把短任务拼长

长轨迹应保留目标、每步观察、动作、真实状态变化和终止结果，检查动作是否可执行、观察是否与环境一致、最终成功是否真的成立。重复点击、空转和错误后无效尾部会教给模型错误模式；过滤时需保留明确失败证据，不能只看输出流畅。

除了专家成功轨迹，还要覆盖模型自己会遇到的偏离状态：误入页面、工具失败、目标变化、状态过期，以及如何回退、换查询和重规划。UI-TARS的纠错与错误后恢复数据说明了这类训练价值：只学理想路径，模型可能在第一次偏离后就失去继续完成任务的能力。

SFT阶段可学习合法动作、目标拆解与纠正行为；错误步骤不应无区分地当成正例。偏好优化可比较同一状态下的正确与错误动作，但是否提高整条任务能力仍需在线环境评测。

二、按能力构造课程，并保留覆盖

先建立基本感知、定位和工具调用能力，再逐渐增加必要步骤、约束数量、跨工具依赖和干扰。课程不应只按文本长度排，而要看当前策略能否得到有区分度的反馈；全成功太容易，全失败又可能几乎没有信号。

WebRL从失败尝试生成新任务并进行在线课程学习，为这条路线提供了具体例子。工程上还要验证合成任务可完成、目标一致、初始状态可重置，并混入旧任务回放以观察遗忘；不能让任务生成器和奖励器互相迎合，只优化自己的模板。

三、利用环境反馈解决信用分配

在线交互让模型看到自己的动作如何改变后续观察，弥补离线专家轨迹与实际访问状态的分布差异。终局奖励最贴近业务目标，但链路越长，成功越稀疏、哪一步贡献或犯错越难判断。

PPO可结合价值估计与优势，把未来回报用于各步更新；结果奖励GRPO可用同题多轨迹的相对表现提供信号，但把一个终局优势分配到整条回答，并不自动精确识别首错动作。可靠里程碑或过程评价可补充反馈，同时要防重复进展刷分和局部高分偏离终局目标。

折扣、长度惩罚和损失归一化应分别讨论。过强偏好短轨迹可能让模型提前停止，单纯提高组采样数又会增加环境成本；先检查任务难度、奖励分辨率与失败轨迹，再调训练设置。

四、运行时支撑与评估归因

把目标、约束、已验证事实、产物和下一步保存到任务状态，跨上下文时重新装载；工具结果要真实回写，恢复前核对环境，写操作避免重复执行。它们减少失忆和运行故障，但不能替代模型对长任务的学习。

评测划分应隔离任务模板和来源，并加入更长链路、未见组合与错误恢复任务。按预先定义的必要长度分桶，单独报告全模型均未完成的题，避免只在成功轨迹上估长度而漏掉最难任务。比较SFT与后训练、不同课程、是否含恢复数据以及相同训练/推理预算，确认收益来自哪一项。

同时记录成功率、首错位置、无效动作、恢复成功率、成本和时长。文本反思方法可能通过记忆改变下一次尝试而不更新权重，报告时应与参数训练收益分开。

对应教程

参考资料