评测指标与测试集
3 道题目查看参考回答收起参考回答
RAG 评估应覆盖检索质量、生成质量和端到端效果。先建立有代表性的评估集，明确每题的答案要点和原文依据，并固定知识库、配置和评分规则，再分三层评价：
- 检索层：评估证据的相关性、覆盖度和排序，分别保存候选结果和最终上下文。
- 生成层：对照答案要点评估正确性与完整性，检查结论是否得到上下文支持（忠实性），以及引用是否准确。
- 端到端：评估任务完成情况、延迟与成本，固定样本和评分规则比较优化前后。
例如问“出差住宿能报多少、需要什么凭证”，只找到限额而没找到凭证要求，属于证据覆盖不足；两项规定都进入上下文，答案却漏掉一项，则属于生成遗漏。分层评估有助于定位具体问题，并判断改动改善了哪个环节。
来源 · 21 篇面经 · 25 份题集收起来源
如何评估一个 RAG 系统？
RAG怎么评估,RAG评估体系中最重要的是什么
如何评估 RAG？
【检索技术与评估】包括 FAISS、IVF、IVF-PQ、HNSW、Rerank、Hard Negative，还有检索效果应该怎么评估。 「字节跳动」
为什么需要对RAG进行评测？ 「腾讯混元」
如何全面地评估一个 RAG 系统的性能？请分别从检索和生成两个阶段提出评估指标。
How do you evaluate a RAG system end-to-end?
How do you evaluate a RAG system? Explain faithfulness, relevance, and context precision/recall.
10. 为什么使用当前的切块策略？是否通过 Recall@K、MRR 等指标做过实验？
RAG 系统上线性能表现，解决哪些业务问题，如何评估效果
10. 如何评估rag
面试问题：RAG 系统需要评估哪些部分？为什么不能只看最终答案？
How do you evaluate an LLM / RAG system? What is the RAG triad and LLM-as-judge?
如何全面地评估一个 RAG 系统的性能？请分别从检索和生成两个阶段提出评估指标。
RAG 系统怎么评测？核心指标有哪些？
RAG 评测为什么必须分检索和生成两段？
RAG 应用怎么评测？
RAG 系统的评估指标有哪些？
RAG 应用如何评测召回质量和最终回答质量？
RAG 评测为什么必须分检索和生成两段？
只有最终答案好坏的评分时，如何判断问题出在检索还是生成？
RAG 的评测指标有哪些（如准确率、召回率等）？
RAG 系统评测的维度和常用指标如何设计？
怎么量化你的 RAG 效果？
RAG 系统如何评测？有哪些评测维度和指标？评测数据集怎么构建？
查看参考回答收起参考回答
构建评测集要同时解决题目是否覆盖真实任务，以及真值是否足以判断结果。先按业务目标整理常见任务、关键边界和失败场景，再从真实请求、历史缺陷、人工设计与经过审核的合成题中取样。每条题目都要保留完成任务所需的上下文，不能只留下一个脱离业务状态的问句。
真值不一定是一段唯一标准答案。RAG 问答可以标注必需事实、支持证据和适用版本；工具任务可以标注允许的参数与最终状态；开放式分析则用明确的评分维度和质量锚点。可计算、可执行的结果尽量独立验证，语义判断由业务标注与评判标准共同约束。
入集前检查题目能否解答、证据是否充分、标注是否一致，并用已知正确和错误结果检验评分规则。随后去重、划分调参与保留测试集，固定知识、工具和评测集版本。上线后持续把新失败模式补为回归题，让评测集既能反映业务分布，也能保护关键能力。
来源 · 6 篇面经 · 11 份题集收起来源
如何设计一个 Agent 评估用例？
评估方法论:如何科学评估大模型性能?评估数据集怎么构造才靠谱?
两个标注者一致率很低，说明 rubric 差还是任务本身模糊？怎样区分？
原子 QA 为什么要求"答案必须是数值/日期/唯一实体名"？
领域模型微调领域评测集构建？ 「字节跳动、百度、腾讯混元」
How do you build an eval set when there is no labelled ground truth and domain experts are expensive?
30. 你们的数据集是怎么构建的？有多少？
Golden Set 应该怎么构建？
数据从哪来？
Golden Set 应该怎么构建？冷启动阶段没有生产日志怎么办？
9.领域模型微调 领域评测集 构建？
查看参考回答收起参考回答
召回率衡量的是：应该找回的相关证据中，实际找回了多少。测量前要固定知识库与评测集，为每个问题标注相关文档或片段，并明确统计单位、Top-K 和检索阶段。对一个问题，Recall@K = 前 K 个去重结果中命中的相关证据数 ÷ 已标注的相关证据总数。
需要按问题类型分别评测。精确编号查询、同义表达、多跳问题、带时间或权限约束的问题，失败原因不同；只看总体平均值可能掩盖某类问题的退化。每组应同时报告样本数、Recall@K，并结合命中率、排序、最终上下文与答案质量判断。
例如，假设某题有 3 个已标注相关片段，前 5 个结果命中其中 2 个，Recall@5 是 2/3，约 66.7%；虽然已经“命中”，仍有一个相关片段没找回。因此“至少命中一个”的 Hit Rate 与“找回多少”的 Recall 不能混用。进一步还要确认这些证据是否经过重排和截断后进入模型上下文，不能把粗召回成功直接当成回答成功。
检索排查与召回优化
4 道题目查看参考回答收起参考回答
先沿证据链定位第一次出错的位置，再改对应环节。 不能看到回答不对，就同时更换模型、改提示词和扩大召回数量。
排查分四层：原始知识是否足够且有效；解析、切分和索引是否保留了正确证据；检索、重排和上下文组装是否把它送给模型；模型是否正确使用证据并生成最终回答。固定失败问题和各阶段输入输出，找到断点后做局部对照，最后用回归集验证修复有没有引入新问题。
来源 · 4 篇面经 · 13 份题集收起来源
【RAG故障诊断】RAG系统上线后效果不好怎么办？ 「美团」
Describe your approach to debugging a poor-performing RAG system.
What are the common failure modes of RAG systems, and how do you debug them?
面试问题：RAG 回答不准确，你会从哪些环节排查？
面试问题：如何定位 RAG 系统问题发生在解析、分块、检索、重排序还是生成阶段？
RAG 效果不好时，你会怎么排查？
如何定位一次 RAG 错误回答？
RAG 返回了错误答案，应该先看哪里？
RAG 出现召回不到、排序错误或答案不忠实时，分别怎么排查？
RAG 为什么还会幻觉？应该从哪些环节排查？
线上 RAG 出现“答非所问”，应该按什么路径定位？
RAG 检索到文档很多但回答质量差，怎么排查？
RAG 系统检索到的文档很多但回答质量差，怎么排查？
查看参考回答收起参考回答
提高知识库召回准确性和上下文匹配能力，先定位正确证据在哪一步丢失，再针对该环节改进。重点区分“没有召回”“召回后排得靠后”和“已经找到却没完整进入上下文”，它们需要不同方案。
- 先建立可回放的失败样例。 保留原问题、必要的正确证据、租户和版本条件，并记录候选、重排及最终上下文，确认问题发生的位置。
- 正确证据没召回时，检查数据和检索。 看文档是否解析、入库，切块是否完整，过滤是否误删；再按查询特点改进改写、关键词与向量召回、Embedding 和索引搜索参数。
- 候选里已有正确证据时，改排序。 合并去重后重排，区分相关性、精确实体和版本条件，让真正回答问题的片段排到前面。
- 证据进入上下文后仍不匹配时，改组织方式。 保留前置条件、例外、来源和版本，必要时取父段落或相邻块；按 Token 预算选择内容，检查压缩和截断是否丢失关键句。
每次改动都用同一批问题比较证据召回、排序、最终答案及延迟成本。扩大 Top-K 或更换模型只是可选手段，效果取决于实际失败原因。
来源 · 7 篇面经 · 2 份题集收起来源
查看参考回答收起参考回答
Top-K要用代表性问题和下游效果验证，而不是凭经验选一个数。先明确K指初筛候选、重排返回，还是进入模型的证据数；固定文档、模型、切分和其他配置，比较不同K的证据覆盖、答案正确、引用、噪声、延迟与成本。
K太小可能漏掉必要证据，太大则可能加入重复、冲突或低相关材料。选择在质量满足需求时成本合理的区间，并按问题类型调整；不存在所有知识库通用的“6或8最好”。
来源 · 3 篇面经 · 11 份题集收起来源
【召回结果选择】召回结果怎么选择? 「阿里巴巴」
Rerank 后的 TopK 截断是怎么做的？为什么是这个值？有没有其他截断方案？
8.Rerank的Top-k数量怎么确定？
召回的数量是固定的还是动态的
5. 数据返回的查询top
Rerank 的 Top-K 怎么确定？
Top-K 设多少？设大了设小了各有什么问题？
Rerank 之后的 TopK 截断如何实现，截断值怎么确定？
如何根据业务场景选择合适的Top k
Rerank 后一般返回几个块？TopK 截断策略怎么设计？
向量检索的 Top-K 设多少合适？
查看参考回答收起参考回答
混合检索的直接收益通常先发生在候选召回与排序阶段：关键词和向量通道可以补充彼此漏掉的证据，融合再将两路信号整理为统一排序。后续重排、上下文构建和生成，决定这些证据能否转化为更好的回答。
- 召回互补：
BM25擅长利用词项命中信号，向量检索擅长匹配不同措辞的相近含义。两路并集可能覆盖单路漏掉的正确片段。 - 排序改善：共同命中或某一路特别有效的候选，可能经融合进入更靠前的位置；排序不当也可能把它挤掉。
- 回答改善：正确证据还要经过重排与上下文选择，模型才能用它回答。因此召回率提升不等于答案正确率必然提升。
要回答“收益在哪里”，应固定数据与下游配置，分别比较单路召回、混合召回、加重排后的结果，再检查最终答案和延迟成本。
来源 · 11 篇面经 · 1 份题集收起来源
What is hybrid search, and why is it better than pure vector search?
生成幻觉与治理
2 道题目查看参考回答收起参考回答
大模型幻觉是生成了事实错误、缺乏依据或与给定材料冲突的内容。治理要把事实依据和执行结果接入回答过程，再验证关键结论。 可以按四步处理：
- 识别并定位：把答案中的关键事实、数字、引用和“已完成”的动作分别拿出来，与原文、业务数据和工具真实返回核对，区分资料缺失、检索错误、上下文丢失与生成偏离。
- 提供可靠依据：知识问答检索有来源、版本和适用范围的材料；实时数据通过工具查询，保留原始返回。检索相关不等于证据充分，还要检查是否覆盖问题中的条件。
- 约束生成：要求围绕证据回答、给出对应出处；缺少依据时补问、补查或明确无法判断。结构化输出可以限制字段和格式，但不能单独保证字段里的事实正确。
- 验证并回归：用规则或业务系统校验编号、计算和操作状态，对关键结论检查引用是否真正支持。把失败样本加入评测集，同时观察错误率、有效回答率、延迟和成本。
例如，报销问答引用了旧版制度，即使回答与旧文档完全一致，也可能不适用于当前员工。应先修正文档版本和检索条件，再验证生成结果；只修改“不要编造”的提示词，解决不了错误依据的问题。
来源 · 29 篇面经 · 30 份题集收起来源
如何处理 Agent 的幻觉问题？
怎么解决LLM幻觉问题
如何缓解 LLM 幻觉？
幻觉怎么处理？
【解码阶段约束缓解幻觉与趋同】大模型生成推荐内容容易出现幻觉和内容趋同，解码阶段可以加哪些约束？ 「字节跳动」
【幻觉缓解】请详细说明缓解模型幻觉的方法，包括但不限于：1）简历项目中抑制幻觉的背景和具体做法；2）记忆冲突的解决方案；3）针对幻觉问题和复读机问题的解决办法；4）除Prompt约束外，常见的工程手段（如规则、检索、拒答、人工转接等）以及生成阶段的具体方法。 「字节跳动、拼多多、美团、腾讯、腾讯混元、阿里巴巴」
【VLM幻觉与信息完备】VLM的信息完备和幻觉，怎么trade-off？ 「阿里通义」
【生成式召回】生成式召回与精排的统一设计：1. 如何将召回和粗排结合做生成式探索？2. 生成式召回与精排的scaling谁空间更大？为什么？3. 生成式推荐的幻觉问题解决方案？4. 精排多为判别式，召回可为生成式，如何统一设计？ 「美团、阿里巴巴」
How do you handle hallucinations when they occur in a production AI system?
Your summarization system hallucinated facts not in the original article. How do you fix it?
Your vision-language model generates factually incorrect image descriptions. How do you fix it?
What are hallucinations in LLMs, and how do you mitigate them?
面试问题：什么是大模型幻觉？提示词、RAG 和输出校验分别怎么降低幻觉？
如何解决大模型幻觉？
14、如何降低大模型输出幻觉？除了Prompt约束之外，还有哪些工程优化方案？
10.当模型出现幻觉问题时，一般有哪些解决思路？
3. qwen3.5plus，发现幻觉率很高，该怎么处理。
（5）如何解决模型回答的事实性和忠实度问题？
18. 如何控制模型的幻觉问题？
手撕：怎么保证模型的输出不产生幻觉？
4. 如何让模型区分事实、推断和不确定信息？
5.6.1.3 面试问题：下游落地中的幻觉问题如何系统性治理？
31.在推理阶段，如何通过后处理校正来减少MLLMs中的幻觉？
大模型为什么会产生幻觉？常见缓解方案有哪些？
大模型幻觉产生的原因是什么？如何降低？
在 LLM 或 RAG 应用中，如何减少和规避幻觉问题？
如何解决大模型的幻觉问题？
7.如何缓解LLM幻觉？
大模型为什么会出现幻觉？怎么缓解？
幻觉的各种治理手段，优缺点分别是什么？行为限制在什么阶段做？
查看参考回答收起参考回答
RAG 通过给模型提供可核验的外部证据，减少对参数记忆和猜测的依赖，但不能自动消除幻觉。 要同时做好证据质量、检索与上下文、生成约束和回答核验。
先保证知识来源、版本和适用范围正确，再把回答所需的完整证据找齐、去噪并附来源；生成时要求结论有证据、缺信息时澄清或说明缺口；最后检查关键事实、引用和确定性结果，并用包含无答案、冲突和干扰信息的评测集持续验证。
来源 · 2 篇面经 · 5 份题集收起来源
面试问题：如何降低 RAG 的幻觉？如何处理知识库中没有答案的情况？
4. 如何避免多个无关片段被错误拼接成答案？
RAG 的幻觉问题怎么解决？RAG 一定不会产生幻觉吗？
RAG 的幻觉问题怎么解决？RAG 一定不会产生幻觉吗？
如何规避 RAG 系统中大模型的幻觉？