评测体系与实验设计

本分类共 10 个专题 · 1909 道题

9271

模型置信度应采用语言自报还是 Logits 概率，如何比较其可靠性？

AI 应用工程与治理评测体系与实验设计

比较选型

进阶

9580

如何定义并统计 Agent 的线上有效会话？

AI 应用工程与治理评测体系与实验设计

方案设计

进阶

9586

覆盖问答、文档和创作的通用 Agent，如何拆分任务并评测？

AI 应用工程与治理评测体系与实验设计

方案设计

进阶

9587

用户输入不同、无法获取竞品后台时，如何公平比较 Agent 产品？

AI 应用工程与治理评测体系与实验设计

方案设计

进阶

9640

LLM Judge 评估工具型 Agent 时，是否需要提供工具返回的 Observation？

AI 应用工程与治理评测体系与实验设计

技术决策

进阶

9657

深度研究中的覆盖率、来源质量和边际收益如何定义与计算？

AI 应用工程与治理评测体系与实验设计

方案设计

进阶

9730

项目中由谁制定参考答案和评判结果，如何保证评分可信？

AI 应用工程与治理评测体系与实验设计

方案设计

进阶

9820

报警算法的准确率、误报率、检出率和重复率怎样定义与计算？

AI 应用工程与治理评测体系与实验设计

原理机制

进阶