训练数据如何合成与筛选？

核心回答

训练数据合成与筛选，要围绕目标能力组织成一条可追踪的数据流程：先确定样本从哪里来、要覆盖哪些场景，再生成输入与候选答案，经过格式、内容、执行结果和重复检查，最后按训练用途整理并验证效果。

合成适合补充稀缺场景、边界条件和失败恢复，但教师模型生成的答案也可能出错。可以用规则或真实执行验证可判定的部分，用模型评分辅助处理语义质量，再抽样人工检查评分是否可靠。筛选后还要看类别、难度和长尾覆盖，避免只保留容易回答的样本。

最后把训练、验证、测试按来源分组隔离，固定数据版本，与原模型及其他数据方案做对照。数据保留率、模型评分和训练 loss 都只是局部信号，真正的质量要看独立任务上的表现。

数据从哪里来，怎样合成

项目回答可以结合实际材料说明来源。下面以 Agent 工具调用数据为参考，主要有三类输入：整理后的业务请求与失败案例、适合目标任务的公开数据，以及围绕业务规则生成的模拟样本。

先把目标能力拆清楚，例如工具选择、参数提取、多轮澄清、串联调用和错误恢复。再选择少量可靠种子，控制对象、约束、任务类型及表达方式，生成不同组合。若是分类任务，还可以按类别组织生成，检查模型是否总倾向于某个常见标签。

生成时要保留题目依据。文档问答应关联具体材料和有效版本；工具调用样本应包含工具定义、输入参数、返回结果及后续动作。多模态数据还要保持图片、音频等材料与标注的对应关系，不能只导出文本后丢掉原始输入。

对一次请求可以生成多个候选，再用独立标准选择。若工具结果来自模型模拟，应保留这个来源标记，并检查它是否符合工具语义；需要真实状态变化的任务，适合在受控环境中执行验证。任务描述、工具观察和正确答案之间要能相互对应。

筛选分几层，每层解决什么问题

第一层检查结构是否可用。 检查必要字段、消息角色、空样本、截断、工具名称与参数结构，以及调用和返回是否配对。修复可以确定的格式问题，但不能用格式修复掩盖答案含义错误。

第二层检查内容是否正确。 文档问答要对照材料核事实和限制条件；代码或工具任务尽量使用独立测试、业务规则和执行状态。比如工具没有返回订单金额，答案却自行给出金额，即使 JSON 完全合法，也不适合作为正确示范。

第三层处理语义质量。 对解释完整性、指令遵循、偏好满足等难以穷尽的维度，可以让评分模型输出分项评分和理由。先用人工核对的正反例校准评分，抽查高低分及临界样本；候选成对比较时还应关注位置和长度偏差。评分模型和生成模型不同，也不等于判断天然独立可靠。

第四层检查重复、冲突与覆盖。 精确去重之外，还要找近似改写、共享底层材料的样本，以及同一输入的答案分歧。开放式问题允许多种正确答案；确定性任务出现相互矛盾的答案，则应回查输入、版本和标注规则。语义相似也不一定冗余，少数关键边界条件可能正是需要保留的区别。

筛选的目标不是把分数尽量抬高，而是得到与任务匹配、可学习的数据。有效的拒答、信息不足时的澄清、长尾类别和失败恢复样本，都可能被简单的“完成率”过滤误删，应该按类别查看保留情况。

SFT、偏好数据和 RL 数据怎样区别

SFT 需要模型应该学习的示范回答或轨迹。工具轨迹不仅要有最终答案，还要检查动作和观察的对应关系；如果保留恢复过程，应确保它最终形成了正确、可理解的示范。

偏好数据需要同一上下文中的候选及可信的优劣关系。chosen 和 rejected 不必来自固定大小的模型，也不能只靠答案长短区分；两条答案几乎无差异或优劣不清时，不适合强行标成偏好对。

RL 更依赖可执行任务、环境反馈与奖励。失败样本可能对探索和诊断有价值，但它与“应该被模仿的正确回答”用途不同。生产时可以共享底层任务和来源记录，导出时按训练目标分别整理。

怎样防止泄漏，并验证筛选有没有用

在合成前就按文档、业务事件、用户会话或任务模板等来源分组，确定哪些材料只用于验证和测试。生成后再检查跨集合的精确重复、近似改写及同源关系；同一篇文档改写出多个问题，随机分到两边仍可能泄漏。

每批保留来源与版本、生成模型和配置、清洗规则、筛选分数、修改原因及最终划分。这样发现某类错误时，可以定位是材料有问题、教师生成错，还是某条筛选规则误判，并重新产出对应批次。

效果验证可以比较未筛选数据、基础规则筛选和增加语义或执行筛选后的数据。固定学生起点、训练预算和评测条件，分别观察总体与关键切片的正确率、工具调用成功率和错误类型；同时记录有效样本产出成本。如果严格筛选让少数类别几乎消失，要补数据或调整规则，不能只看平均分提高。

常见追问

为什么不直接用最强模型生成后全部训练？

强模型也会编造依据、误解约束或重复已有样本。生成能力只能改善候选质量，独立验证、覆盖控制与数据隔离仍决定学生学到什么。

筛选阈值怎么定？

先用标注样本检查误接和误拒，再结合任务错误成本、类别覆盖与验证集表现选择阈值。不同评分器、任务和分值分布不能共用一个固定阈值。

数据越多为什么可能越差？

新增数据可能只是重复，也可能引入旧协议、错误答案或类别偏斜。应比较新增样本带来的能力覆盖和独立效果，而不是只比较条数。

对应教程

参考资料