Agent 评测与 Benchmark进阶追问
Transcript 和 Outcome 的区别？为什么不能只看 Transcript？
原题pass@k 和 pass^k 分别表示什么？各适合什么场景？
原题Capability Eval 和 Regression Eval 的区别是什么？
原题Code-based Grader 最适合做什么？不适合做什么？
原题LLM Judge 的三大最佳实践是什么？
原题为什么 LLM Judge 必须有不确定逃生门（Uncertain Escape Hatch）？
原题你怎么校准 LLM Judge？Cohen's Kappa 低于多少需要重写 prompt？
原题150 task benchmark 的四个 bucket 怎么划分？
原题四级 Ship Gate 分别是什么？
为什么 primary metric 不能做 early stop？
原题完整原题
四级 Ship Gate 分别是什么？为什么 primary metric 不能做 early stop？
三层质量门（Safety/Business/Offline Quality）各自的频率和指标？
原题Agent 评测最大的坑是什么？
原题KTClaw 的 15%→3% 是怎么测的？每个指标的精确定义？
原题GoAfar 的路线可行率 60%→92% 是怎么测的？baseline 是什么？
原题LoCoMo 的核心评测维度是什么？你参考了哪几个？
原题VQA11y-Score 的三个权重各是多少？为什么 Hard 类权重最高？
原题小红书 C 端 Agent 的离线评测和在线评测各怎么设计？
原题推荐类 Agent 的排序指标有哪些？
原题怎么防止 Agent 在评测集上学到了"看起来对"的捷径？
原题
暂无题目