评测体系与实验设计

10 个专题 · 567 道题

3546

如何评估 DPO 全流程效果，并结合业务分析其短板？

AI 应用工程与治理评测体系与实验设计

效果评估

进阶

3635

实习工作如何衡量，从冷启动到上线如何利用用户反馈持续改进？

AI 应用工程与治理评测体系与实验设计

项目深挖

进阶

3766

上线两周后，安全 Agent 的误报率高达 40%，工程师开始忽略它的输出。怎么处理？

AI 应用工程与治理评测体系与实验设计

故障排查

深入

暂无面经 1 份题集

3790

Braintrust / LangSmith / Weave / PromptFoo 这类 eval 平台解决了什么核心问题？选型时如何权衡？

AI 应用工程与治理评测体系与实验设计

比较选型

进阶

暂无面经 1 份题集

3791

Eval dataset 的构建策略有哪些？如何从生产流量中自动挖掘高价值测试用例？

AI 应用工程与治理评测体系与实验设计

方案设计

进阶

暂无面经 1 份题集

3792

如何设计 regression test suite，确保每次 Prompt 修改或模型升级不引入退化？

AI 应用工程与治理评测体系与实验设计

方案设计

进阶

暂无面经 1 份题集

3793

Benchmark 过拟合问题（Benchmark contamination / Goodhart's Law）在 Agent eval 中如何规避？

AI 应用工程与治理评测体系与实验设计

方案设计

深入

暂无面经 1 份题集