Agent 评测与 Benchmark专题问答

题集来源:阿东玩 AI(Adong)收录项目:AgentGuide查看原题集

题目目录

8 道原题
  1. Agent 评测和 LLM 评测有什么区别?

    原题
  2. 你说 Code-based Grader 做守门员,LLM Judge 做艺术评委——能举一个具体例子吗?

    原题
  3. 你怎么判断一个 Agent 版本能不能上线?

    原题
  4. 你说的"150 task 基准"是怎么构建的?

    原题
  5. 你在 KTClaw / GoAfar 里是怎么做评测的?和这个框架有什么关系?

    原题
  6. 你怎么看 Agent benchmark 被 reward hack 这件事?

    原题
  7. 如果让你为小红书 C 端 Agent 设计评测体系,你会怎么设计?

    原题
  8. 你怎么看待"读 Transcript"这件事?为什么不能只靠分数?

    原题