返回全部题目← 上一题164 / 232下一题 →题库/AI 应用工程与治理/Q-4530上线 LLM 或 Agent 服务如何持续评估并检测性能退化与行为漂移？知识专题：评测体系与实验设计题目类型：方案设计技术难度：深入收录题集：16 份暂无参考答案未标记未标记待复习已掌握收藏询问 AI选择 AI 平台KimiKimi（新窗口打开）Qwen千问（新窗口打开）OpenAIChatGPT（新窗口打开）自动带入当前题目本题目录收录题集相关题目收录题集16 份模型与 Agent 评估面试题阿东玩 AI · AgentGuide · 1 条原题查看题集 →如何持续监控和评估一个已经部署上线的 LLM 应用或 Agent 服务的表现，以应对可能出现的性能衰退或行为漂移？项目主线与深入追问阿东玩 AI · AgentGuide · 1 条原题查看题集 →项目怎样灰度、监控、降级和回滚？自进化 Agent 面试指南阿东玩 AI · AgentGuide · 1 条原题查看题集 →怎样证明系统真的越用越好？后训练综合问答阿东玩 AI · AgentGuide · 1 条原题查看题集 →模型线上效果退化怎么诊断？Agent 评测与 Benchmark进阶追问阿东玩 AI · AgentGuide · 1 条原题查看题集 →三层质量门（Safety/Business/Offline Quality）各自的频率和指标？展开剩余 11 份题集数据与评测阿东玩 AI · AgentGuide · 3 条原题查看题集 →评估指标这个功能上线后，你用哪些指标评估效果？【模型上线后监控与迭代】在模型部署上线后，如何进行监控和持续优化？请描述监控模型效果的方法、确保及时发现和解决问题的监控系统设计，以及持续迭代的流程。 「京东、蚂蚁集团、阿里巴巴」【长期项目监控体系】在一个长期迭代的后训练项目中，如何建立有效的指标监控体系，以及时发现模型性能衰退或出现新的安全风险? 「蚂蚁集团」项目论文与经历阿东玩 AI · AgentGuide · 2 条原题查看题集 →【项目效果与模型稳定性】项目深挖 效果怎么样，模型稳定不稳定？ 「京东」效果与落地综合在模型迭代过程中，你如何平衡效果的稳定性？业务场景与产品阿东玩 AI · AgentGuide · 2 条原题查看题集 →【模型上线指标监控】模型上线有观察大盘里一些播放、点击行为的大盘指标变化嘛？ 「腾讯」【风控模型稳定性与可解释性】你如何确保自己构建的风控模型是稳定且可解释的？ 「蚂蚁集团」项目复盘与行为面试AMIT SHEKHAR · ai-engineering-interview-questions · 1 条原题查看题集 →How would you handle a situation where your AI system's quality degrades over time?模型与应用评测AMIT SHEKHAR · ai-engineering-interview-questions · 1 条原题查看题集 →How do you implement continuous evaluation for production AI systems?百度高频面试题Rocky Ding · AIGC-Interview-Book · 1 条原题查看题集 →模型上线之后结果不太理想从哪些方面分析情况模型评估：多维评估大语言模型Rocky Ding · AIGC-Interview-Book · 1 条原题查看题集 →为什么业务场景评估比通用榜单更重要？上线后应该监控什么？机器学习工程与时序预测知识点Rocky Ding · AIGC-Interview-Book · 1 条原题查看题集 →Champion/Challenger、漂移监控和拒绝策略如何组成可靠的上线闭环？05_视频生成训练与工程优化Rocky Ding · AIGC-Interview-Book · 1 条原题查看题集 →如何把视频评估接入训练、发布和线上质量优化闭环？LLM、VLM 与 Agent 面试题Datawhale · hello-agents · 1 条原题查看题集 →如何持续监控和评估一个已经部署上线的 LLM 应用或 Agent 服务的表现，以应对可能出现的性能衰退或行为漂移？AI 系统设计面试题Guide · JavaGuide · 1 条原题查看题集 →AI 应用如何设计灰度、回滚和失败样本回流？相关题目4 题0046简历评分应该从哪些维度进行？同一知识专题题目类型：方案设计技术难度：进阶相关面经：1 篇0056如何量化评估 Agent 输出质量或任务成功率？同一知识专题题目类型：方案设计技术难度：进阶相关面经：58 篇0080GDPval 评测链路在项目中如何实现？同一知识专题题目类型：项目深挖技术难度：深入相关面经：1 篇0150AI 如何从需求或用例生成正确的接口测试脚本，并评估生成效果？同一知识专题题目类型：方案设计技术难度：进阶相关面经：6 篇♥♥♥♥♥← 上一题已到最后一题← 上一题如何设计人工评估准则和流程，保证结果客观且一致？下一题 →为什么不能只用公开 Benchmark 评价 AI 应用质量？
