项目基线与最终效果如何，哪个改动对准确率提升最大？

核心回答

项目效果要同时说明基线是什么、在什么任务上测、最终改善了多少，以及改善主要来自哪里。基线应是能稳定运行、具有比较价值的起点方案；新旧版本在相同评测集和评分口径下逐题比较，除准确率外，还要看延迟、成本与关键场景的退化。

“哪个改动贡献最大”需要实验支持。可以从基线逐项加入改动，观察单项收益，再从最终方案中分别移除组件，观察性能下降。两种比较回答的问题不同；组件有交互时，各自收益不能简单相加。最后结合错误类型和运行轨迹，解释主要改动究竟修复了什么问题，而不是把最终提升全部归给最后一次修改。

基线与最终方案怎样讲清楚

以知识库问答作为参考场景，基线可以是固定模型和 Prompt、单路向量检索的完整系统；最终方案可能加入检索改进、重排和上下文处理。这里先写清各版本实际包含什么，再比较结果。如果原始方案本就包含权限过滤和答案校验，这些能力也应保留在基线中，避免构造一个刻意过弱的对手。

“准确率”需要有明确的分子、分母与判定标准：是回答完全正确的比例、关键事实覆盖率，还是工具任务成功率？检索 Recall@k、格式通过率和端到端答案正确率可以一起分析，但不能当成同一个指标。超时、无法作答、工具失败与拒答怎样计分，也应事先确定，避免只在成功返回的样本中计算。

比较时固定题目和参考答案版本、知识库快照、未被研究的模型与生成参数、评分器和重试预算。若本次改的就是模型、检索或 Prompt，则把它明确列为实验变量。涉及随机生成时，保留逐题多次运行，观察改善是否稳定；评分标准修订后，所有比较版本按同一版重新评分。

用单项实验和消融区分收益

下面的数字仅用于说明计算与归因方法。

若同一指标从 58% 提高到 92%，绝对提升是 34 个百分点，相对提升是 (92−58)/58 ≈ 58.6%。这两种说法不能混用；如果分母、数据集或评分口径变了，应先建立可比结果，再解释提升。

再假设同一组 100 道题，每题都按完全正确记 1 分：

• 基线答对 60 道，准确率为 60%。
• 基线只加入改动 A，答对 72 道，单项提升 12 个百分点。
• 基线只加入改动 B，答对 65 道，单项提升 5 个百分点。
• 同时加入 A、B，答对 80 道，总提升 20 个百分点。

在最终组合中移除 A，相当于只保留 B，准确率下降 15 个百分点；移除 B，则下降 8 个百分点。在这些条件下，A 对最终组合的边际作用更大。但两项移除损失相加是 23 个百分点，并不等于总提升 20；A、B 组合产生了额外 3 个百分点的交互收益。因此，应说明是“相对基线的单项收益最大”，还是“在最终组合中移除后的下降最大”。

实际消融还要保持方案可运行。例如关闭重排时采用明确的基础排序，并维持相同候选和上下文预算；不能删除组件后连必要输入都不提供，再把崩溃当成该组件的准确率贡献。实验结论也只适用于所测任务、配置和预算，不直接证明该组件在所有模型或数据上最重要。

把提升对应到具体问题

总分只能说明整体变化，还要看哪些题被修好、哪些题反而变错。

对 RAG，可以对照“原来检索不到证据”“证据召回但排位靠后”“上下文截断”“证据齐全但生成误解”等错误组，检查主要改动是否减少了对应失败。如果重排改善的主要是“相关材料已有、但没进入最终上下文”的问题，这比只说“换了更强的重排模型”更有解释力。检索指标改善后，仍需确认端到端正确率没有被噪声或延迟抵消。

对训练项目，则固定起始模型和评估口径，分别比较数据修改、训练方法和奖励项。增加数据时还会改变训练步数与总计算量，需要记录或控制这些变化，避免把更多训练预算的收益都归给新算法。

还应检查改善来自修复模型行为，还是来自纠正错误参考、放宽评分器、增加重试或更换外部知识。这些变化都有实际意义，但作用不同。保留逐题输入、输出、评分和关键轨迹，才能回到具体案例解释原因。

怎样判断提升足够可信

新旧结果应按同一题配对分析，既统计从错到对，也统计从对到错；不能只展示修好的样本。对随机性较大的系统，可以重复运行，并按任务或相关任务组估计差值的不确定性。同一道题多跑很多次，不等于获得了同样数量的独立业务问题。

如果两个改动的收益差距接近评估波动，可以报告“当前结果接近”，继续补充有区分度的样本，而不是强行排出第一名。调参和挑选方案使用开发集或验证集，最终再用未参与选择的数据检查，减少反复针对测试集优化造成的偏差。

离线准确率提高之后，线上业务变化仍需结合实际流量验证。可以按适当的用户或会话单位随机分配版本，保持分组稳定，记录人群、时间、任务分布及质量和成本指标。仅比较上周旧版与本周新版，容易混入流量、知识和外部工具变化。PAI 实验文档展示了版本、人群、周期和指标的配置关系，但实验配置本身不保证比较没有偏差。

常见追问

只做了优化前后对比，能回答哪个改动最大吗？

可以说明整体方案的变化与可能的主要原因，但仅凭前后总分无法拆出各改动的独立贡献。最有价值的补充是对主要候选改动做同条件对照和消融，再结合被修复的问题组解释。

效果涨得最多的方案就应该上线吗？

还要看关键场景是否退化、额外延迟与成本是否可接受、结果是否稳定。若收益主要来自更多重试或更长上下文，应把相应预算一起报告，按业务要求选择质量与成本的合适组合。

对应教程

参考资料