Agent 评测与 Benchmark进阶追问
Transcript 和 Outcome 的区别？为什么不能只看 Transcript？
原题pass@k 和 pass^k 分别表示什么？各适合什么场景？
原题Capability Eval 和 Regression Eval 的区别是什么？
原题Code-based Grader 最适合做什么？不适合做什么？
原题LLM Judge 的三大最佳实践是什么？
原题为什么 LLM Judge 必须有不确定逃生门（Uncertain Escape Hatch）？
原题你怎么校准 LLM Judge？Cohen's Kappa 低于多少需要重写 prompt？
原题150 task benchmark 的四个 bucket 怎么划分？
原题四级 Ship Gate 分别是什么？
为什么 primary metric 不能做 early stop？
原题完整原题
四级 Ship Gate 分别是什么？为什么 primary metric 不能做 early stop？
三层质量门（Safety/Business/Offline Quality）各自的频率和指标？
原题
暂无题目