如何识别并治理大模型幻觉？

核心回答

大模型幻觉是生成了事实错误、缺乏依据或与给定材料冲突的内容。治理要把事实依据和执行结果接入回答过程，再验证关键结论。 可以按四步处理：

1. 识别并定位：把答案中的关键事实、数字、引用和“已完成”的动作分别拿出来，与原文、业务数据和工具真实返回核对，区分资料缺失、检索错误、上下文丢失与生成偏离。
2. 提供可靠依据：知识问答检索有来源、版本和适用范围的材料；实时数据通过工具查询，保留原始返回。检索相关不等于证据充分，还要检查是否覆盖问题中的条件。
3. 约束生成：要求围绕证据回答、给出对应出处；缺少依据时补问、补查或明确无法判断。结构化输出可以限制字段和格式，但不能单独保证字段里的事实正确。
4. 验证并回归：用规则或业务系统校验编号、计算和操作状态，对关键结论检查引用是否真正支持。把失败样本加入评测集，同时观察错误率、有效回答率、延迟和成本。

例如，报销问答引用了旧版制度，即使回答与旧文档完全一致，也可能不适用于当前员工。应先修正文档版本和检索条件，再验证生成结果；只修改“不要编造”的提示词，解决不了错误依据的问题。

先分清是哪一种错误

识别幻觉时，要同时看两个维度：

• 事实是否正确：某个金额、日期、接口或执行结果，是否符合可靠原始记录。
• 是否得到当前证据支持：回答是否超出给定资料，是否把条件、例外或引用关系说错。

两者可能不一致。模型凭已有知识答对了，但当前材料没有支持，这对要求“依据企业制度回答”的任务仍然不合格；反过来，忠于一份过期文档，也不代表结论适用于现在。

工具场景还要检查状态：模型生成了发送邮件的参数，不能据此说“邮件已发送”；只有工具执行完成并返回可验证的结果，才有相应依据。参数类型错误、权限拒绝、网络超时各有自己的错误原因，也应分别处理。

沿数据流治理，而不是只换提示词

资料端保留原文、更新时间、业务对象和权限范围。知识发生变更时，同步更新索引；问答需要的表格条件和例外不能在解析、切分或摘要时丢掉。

检索端检查正确证据是否被召回、是否被重排和过滤保留、是否实际进入模型输入。召回缺少关键材料时，扩大生成模型或重复提问未必有效，应该调整查询、检索和上下文组织。排查方法可结合Agent 的 Bad Case 分析。

生成端把材料与用户问题明确分开，标明来源及适用条件。可以先抽取支持结论的关键原句，再生成解释；缺少对应原句时补查或收缩结论。引用是否存在、原文是否支持结论，需要分别检查：一个能打开的链接也可能引错内容。

执行端把确定性校验交给代码或业务接口。例如金额计算用计算逻辑复算，订单状态从订单系统查询，写操作根据实际执行结果确认。模型可以帮助判断语义，但不应成为验证同一事实的唯一依据。

这些措施按任务组合使用。只有模型接入权的应用也能做好检索、上下文和结果校验；是否微调，需要再判断是否有持续、成体系的错误及合适训练数据。

怎样判断治理是否有效？

建立包含正常问题、材料缺失、资料冲突、版本变化和错误前提的测试样本，保留问题、实际上下文、答案和判定依据。可把“包含错误关键事实的回答数／已审核回答数”作为一种回答级错误率，但要在评测中写清分母、审核范围和严重程度。

同时记录有效回答率、应该回答却拒答的情况，以及应该澄清或拒答却继续猜测的情况。把所有问题都拒答，可能让已回答样本看起来更准确，却损害实际可用性。

模型裁判适合筛查和扩展语义评估，需要用人工标注样本校准；金额、编号、接口结果等有客观依据的项目优先做客观验证。比较优化前后时固定样本、知识版本和评分规则，并把新增失败样本纳入后续回归。

常见追问

用了 RAG，为什么还会幻觉？ 知识可能过期，正确片段可能没召回，切块可能丢掉条件，也可能在上下文构建时被删除。即使材料正确，模型仍可能曲解内容或生成不受支持的结论，需要分层检查。

把 temperature 调到 0 能解决吗？ 它主要影响采样方式，不会给模型补充缺失知识，也不能验证事实或执行状态。输出更稳定时，也可能稳定地重复同一个错误。

让另一个模型复查就够了吗？ 复查可以发现矛盾，但两个模型可能共享相同盲点。应让复查结论回到具体原文、业务数据或执行结果；多个回答一致，也不能单独证明事实正确。

对应教程

参考资料