评测体系与实验设计

本分类共 10 个专题 · 1023 道题

已筛选

共 232 道题

排序:

5195
Benchmark、Eval、Eval Harness 与 AgentOps 分别承担什么职责?
AI 应用工程与治理评测体系与实验设计
比较选型
进阶
5196
Agent 评测任务如何定义输入、环境、约束与期望状态?
AI 应用工程与治理评测体系与实验设计
方案设计
进阶
5303
MTEB 与 STS 类评测有何区别,如何选择嵌入模型评测任务?
AI 应用工程与治理评测体系与实验设计
比较选型
进阶
5306
能否用困惑度判断一段文本是否由指定模型和提示词生成?
AI 应用工程与治理评测体系与实验设计
效果评估
进阶
5381
A/B 实验如何确定样本量与观察周期?
AI 应用工程与治理评测体系与实验设计
方案设计
进阶
5412
实现二分类准确率、Precision、Recall 和 F1 的计算。
AI 应用工程与治理评测体系与实验设计
代码题
进阶
5417
实现多分类混淆矩阵及 Micro、Macro、Weighted 指标。
AI 应用工程与治理评测体系与实验设计
代码题
进阶
5425
实现可更新、合并和重置的流式指标累加器。
AI 应用工程与治理评测体系与实验设计
代码题
进阶
5449
实现多分类 Top-K 命中与准确率。
AI 应用工程与治理评测体系与实验设计
代码题
进阶
5458
分类指标如何按类别与批次正确聚合?
AI 应用工程与治理评测体系与实验设计
原理机制
进阶