业务收益与评测体系
3 道题目查看参考回答收起参考回答
以下以电商问数为例说明业务问题与验证方法。
Agent 解决的是业务同学想查数据，却要依赖分析师反复确认指标、找表和写 SQL，数据获取链路长的问题。它把自然语言理解、元数据检索、SQL 生成与校验、执行结果返回串成流程，让口径明确的常见查询更容易自助完成，减少分析师的重复劳动。
证明提效，要比较达到同等交付质量的一整条流程，不能只比较 SQL 生成速度：
- 建立人工基线：明确哪些查询属于目标范围，记录原流程的人工操作时间、等待时间、正确交付率和返工情况。
- 记录接入后的变化：看查询是否正确完成、每单还需要多少人工确认和修改、用户多久拿到可用结果，同时统计模型、工具、维护及兜底成本。
- 做可比较的验证：先用同类历史任务比较人工流程与 Agent 辅助流程；有真实流量时做合理分组的对照实验，按任务难度和用户类型看结果，检查节省时间是否以质量下降为代价。
- 说明收益落在哪：是缩短用户等待、减少人工投入、提高处理量，还是扩大自助覆盖。节省的工时与实际财务降本要分开描述。
来源 · 18 篇面经 · 5 份题集收起来源
如何证明 Agent 比人工客服更好？设计评估方案
【效果与落地】介绍业务指标收益具体是如何从模型得到的？模型的base基线以及迭代步骤，主要收益来源于是什么？优化方案是否落地？线上与线下测试差异？优化过程中有什么经验和思考？你在该模型的应用中，是否对其性能进行了评估？使用过程中主要遇到哪些挑战？你的项目做了哪些性能优化、稳定性优化、效果优化？你说通过XX动作提升了销量，具体转化链路是怎么跑通的？后训练的最终效果如何，业务收益是多少？和项目指标提升还不错，为什么不考虑上线使用？哪一项提升对模型的帮助最大？如何判断这个想法是有收益的？如何验证是否起作用的？对比baseline提升挺多的，这个提升你认为是怎么来的？对这个策略的有效性验证怎么样？收益到底来自哪里？收益拆分？数据和模型优化是否形成闭环？是不是可以减少后面人力的投入？是否完成线上部署？QPS、延迟、准确率等核心指标如何？有没有落地到真实业务场景？是否有实验验证两者联合使用的合理性？ 「京东、字节Seed、字节跳动、拼多多、百度、美团、腾讯、腾讯混元、蚂蚁集团、阿里巴巴、阿里通义」
讲一下实习工作主要解决的是什么问题
这个AI Agent系统给公司带来了什么实际价值？
如何判断一个 Agent 是否“真正有用”？
查看参考回答收起参考回答
Agent 评估要先定义任务在什么条件下算完成，再同时衡量结果质量、执行过程和运行代价。回答流畅、工具返回成功，都不能直接代替任务成功。
- 建立有代表性的任务集：固定输入、初始状态、权限和验收条件，覆盖正常任务、信息不足、工具异常与高风险边界，并留出不参与调参的测试集。
- 按任务选择评分器：问答检查事实、完整性和依据；建单检查实际记录、关键字段和重复单；代码修改检查需求用例、原有功能与修改范围。能用规则或执行结果验证的优先自动检查，开放式质量由明确量表的模型裁判辅助，并用人工样本校准。
- 统计成功与稳定性：报告固定预算内的任务成功率，区分一次通过、重试后通过和人工接管；同一任务重复运行，按场景看波动，不能用挑出的最好结果代表日常表现。
- 同时比较代价：记录端到端耗时、费用、工具错误和人工介入。用相同任务与评分规则比较新旧版本，再通过线上抽样验证实际表现。
例如建单任务，成功应是“正确客户下创建了字段齐全且无重复的订单”，而不只是最后回复“已建单”。如果身份或必填信息缺失，正确行为可能是先澄清，而非强行创建。
来源 · 50 篇面经 · 15 份题集收起来源
如何评价Agent解决问题的质量？
项目:Agent怎么评估效果
如何评估 Agent 效果？
Agent 应该评什么？
怎么评估 Agent 而非聊天机器人？
指标怎么定义？
【仿真平台模型评估】仿真平台如何评判模型的好坏？ 「美团」
面试问题：规则判分、单元测试、LLM-as-Judge、人审如何组合？
多轮对话中评测如何进行，转人工率如何评测？怎么进行的A/B测试？
4.第3点我说了智能体上架的流程每次都重复单一，可以作为切入点，面试官询问：怎么设计这个智能体？需要有哪些skill和tool，共享一下屏幕写一下提示词，这个智能体验收的标准是什么？哪些步骤需要人工来复核？通过率和不通过率测试集怎么构建？
21. 复杂查询 / 多意图查询如何做准确率评估？
Agent 的执行效果怎么评估？
Agent 项目的指标应该怎么讲？
Agent 评测指标有哪些？如何定义“高质量回答”？
Agent 的端到端成功率和工具误调用率怎么量化？怎么改进？
查看参考回答收起参考回答
Agent 评测体系要形成一条可重复的迭代链路：先定义任务验收标准，建设代表性样本和评分器，再批量运行、分析失败原因，验证针对性改动，最后把线上新问题回收到回归集。 评测的产物既要有质量、稳定性和成本指标，也要能回答下一轮该改哪里。
评测对象分三层：最终答案或外部状态是否正确，工具选择、参数及关键步骤是否合理，遇到超时、信息缺失等情况能否恢复。能用规则、测试或状态检查判定的，优先自动验证；开放式语义质量再使用有明确评分标准的模型裁判，并用人工标注校准。
优化时，把失败样本关联到完整执行记录，区分模型判断、上下文、工具、编排和评测环境的问题。每次验证一个明确假设，在相同数据与预算下比较新旧版本，同时检查旧能力是否退化。上线后再结合真实反馈和分层采样发现新场景，逐步更新测试集和验收规则，使评测持续影响开发决策。
来源 · 13 篇面经 · 22 份题集收起来源
Agent怎么评估效果？
设计一个 Agent 评估平台
如何设计自动化评估流程？
如果让你为小红书 C 端 Agent 设计评测体系，你会怎么设计？
如何对 AI Agent 的性能进行评估与优化？
【Agent离线评测】项目中如何搭建Agent离线评测体系？ 「美团」
【Agent评估】Agent系统的整体效果怎么评估？ 「字节跳动、美团」
【Agent效果评测】项目里agent效果评测 「蚂蚁集团」
How do you evaluate and test AI agents?
How do you set up an evaluation framework from scratch for a new LLM application?
26. 那agent本身修改后，你们如何去衡量此次修改的好坏？
20. 模型 / 系统效果如何评估？指标怎么计算？
面试问题：如何从零设计一个合理的大模型评估方案？
你会如何评估一个 RAG 或 Agent 系统的效果？
你会记录哪些 Trace，并用哪些指标评估任务完成率、工具调用和执行轨迹？
Agent 应用怎么评测？
评测应该怎么做
AI 应用上线前如何证明“效果变好了”而不是只凭感觉？
如何验证优化是否有效？
Agent 项目通常如何进行测试与评估？
如何评估一个 Agent 的效果？评测集和指标怎么设计？
设计一个电商客服 Agent 的评测方案——商品咨询、售后处理、投诉安抚三类任务如何分别评估？
评测数据与规模
2 道题目查看参考回答收起参考回答
构建评测集要同时解决题目是否覆盖真实任务，以及真值是否足以判断结果。先按业务目标整理常见任务、关键边界和失败场景，再从真实请求、历史缺陷、人工设计与经过审核的合成题中取样。每条题目都要保留完成任务所需的上下文，不能只留下一个脱离业务状态的问句。
真值不一定是一段唯一标准答案。RAG 问答可以标注必需事实、支持证据和适用版本；工具任务可以标注允许的参数与最终状态；开放式分析则用明确的评分维度和质量锚点。可计算、可执行的结果尽量独立验证，语义判断由业务标注与评判标准共同约束。
入集前检查题目能否解答、证据是否充分、标注是否一致，并用已知正确和错误结果检验评分规则。随后去重、划分调参与保留测试集，固定知识、工具和评测集版本。上线后持续把新失败模式补为回归题，让评测集既能反映业务分布，也能保护关键能力。
来源 · 6 篇面经 · 11 份题集收起来源
如何设计一个 Agent 评估用例？
评估方法论:如何科学评估大模型性能?评估数据集怎么构造才靠谱?
两个标注者一致率很低，说明 rubric 差还是任务本身模糊？怎样区分？
原子 QA 为什么要求"答案必须是数值/日期/唯一实体名"？
领域模型微调领域评测集构建？ 「字节跳动、百度、腾讯混元」
How do you build an eval set when there is no labelled ground truth and domain experts are expensive?
30. 你们的数据集是怎么构建的？有多少？
Golden Set 应该怎么构建？
数据从哪来？
Golden Set 应该怎么构建？冷启动阶段没有生产日志怎么办？
9.领域模型微调 领域评测集 构建？
查看参考回答收起参考回答
这个问题先报实际有效的独立测试任务数、覆盖范围和执行次数，再解释规模为什么适合本次验证。例如一条多轮任务反复运行若干次，是一个任务的多次试验，不能都算成新的业务问题；知识库文档数、训练数据量也不是测试样本数。
规模由目标决定：早期用小而有代表性的集合检查链路和评分规则；比较方案时固定数据、环境和评分口径；要估计实际成功率或验证低频风险，就需要考虑样本代表性、允许误差和置信区间，并单列高风险场景。没有适用于所有项目的“够用条数”，增加大量近义改写也不等于增加同样多的独立证据。
来源 · 3 篇面经 · 2 份题集收起来源
可观测性与问题分析
2 道题目查看参考回答收起参考回答
Metrics、Log 和 Trace 是从不同角度观察 Agent 执行的信号：
Metrics是按时间和维度聚合的测量，例如任务成功率、工具超时率、延迟分位数和token用量，用来发现异常发生在哪个范围。Log记录具体事件和上下文，例如某次参数校验失败或重试原因，用来解释细节。Trace把同一次请求中的模型、检索和工具调用串起来；每个有意义的操作用一个Span记录时间、状态和父子关系，用来定位耗时及失败传播。
工具并不是模型自己执行的：模型提出工具名称和参数，Agent 运行时解析并校验请求，调用注册的实现或远端服务，再把结果交回模型。观测可以通过执行包装器、回调或 Hook 记录这一过程，并把同一个追踪上下文传下去；同时控制采集开销、字段数量和敏感信息。
来源 · 2 篇面经 · 13 份题集收起来源
【沙箱与监控实现】沙箱、监控怎么做的？ 「美团」
AI Agent Observability
What is LLM observability?
你会怎么做大模型应用的可观测性？
Agent 系统的可观测性怎么做？需要监控哪些指标？
你会记录哪些 Trace，并用哪些指标评估任务完成率、工具调用和执行轨迹？
为什么只有 Metrics 和日志还不够？
怎么衡量 LLM Gateway 做得好不好？
项目上线后记录了哪些质量、成本、延迟和错误指标？
AI 应用的可观测指标应该包括哪些内容？
线上 Agent 延迟明显升高时，如何通过 Trace 定位和优化？
如何让 Agent 执行过程可观测、可调试？
Skill 的调用量、Token 成本和效果埋点应该放在哪一层？
查看参考回答收起参考回答
Bad Case 分析的目标是用证据定位偏离，再通过对照验证原因，让优化对应实际故障。可以按四步展开：
- 明确成功条件：核对用户目标、权限、数据和时间范围，确认预期结果，先分清系统确实做错还是评估判断有误。
- 沿轨迹取证：串起输入、检索结果、实际发给模型的上下文、工具名称与参数、执行结果和最终答案，找到最早有证据表明偏离预期的环节。
- 提出假设并验证：说明哪项信息缺失、哪一步传错或做错；保持其他条件不变，用局部替换或单因素对照验证，再修改对应逻辑。
- 归类并回归：按影响、频率和风险安排修复，用原失败题、未参与调参的同类题和原成功题检查质量、耗时、成本，以及是否引入新错误。
例如“华北”已经被召回，却没有进入生成 SQL 的上下文，就先追踪合并和过滤过程，再通过补回取值做对照；一次恢复只支持这个假设，还要结合数据流和重复结果继续核验。
来源 · 18 篇面经 · 17 份题集收起来源
失败样本有哪些，下一轮会怎么改？
【Agent问题定位】当出现Badcase时，你怎么快速定位到具体是哪个Agent环节出了问题？ 「字节跳动」
【模型效果排查】企业在使用生成模型时效果不好，更换更贵的模型后效果还是不行，该怎么排查？ 「腾讯」
如果问答效果不好，怎么排查badcase？ 「京东」
【模型效果归因分析】模型评测后，效果不好，怎么做归因分析? 「字节Seed」
3. 项目过程中针对 Agent 做过哪些优化？具体怎么调优？
8. 如果 Agent 效果不达预期，你怎么判断瓶颈在哪？——是模型能力不够？工具调用不准？上下文丢失？还是评测标准有问题？怎么区分？
Reflection 机制判断问题：在 Reflection 机制中，我们该如何判断一个 Agent 执行失败是由于知识缺失，还是工具调用错误导致的呢？
8.怎么找到badcase，怎么找到原因，怎么确定是哪个原因导致的badcase？
rag 召回率 90%，badcase 都是什么问题，具体是哪个环节导致的？有想过怎么优化吗？
14. 模型上线后被人反馈"答非所问"，你怎么查？
如果线上效果波动很大，你怎么向面试官展示你的排障能力？
Agent 项目的 Badcase 应该怎么复盘？
线上质量下降时，如何区分模型、Prompt、检索、工具和数据分布问题？
你们做 Agent 踩过什么坑？怎么解决的？
业务方反馈“AI 效果差”，你怎么系统性定位问题？
Multi-Agent 出现 Badcase 时，如何定位责任 Agent，并判断是否需要 SFT？