Agent安全评测与AgentOps

题集来源:Rocky Ding(WeThinkIn)收录项目:AIGC-Interview-Book查看原题集

题目目录

28 道原题
  1. SWE-bench、SWE-bench Verified、SWE-bench Pro 分别说明什么?

    原题
  2. WebArena、OSWorld、GAIA、τ-bench 分别评估什么?

    原题
  3. 为什么公开 Benchmark 不能替代企业自建评测集?

    原题
  4. 如何构建一个企业内部 Agent Eval Harness?

    原题
  5. Agent 运行轨迹应包含哪些可诊断信息?

    原题
  6. 如何通过 trace 定位 Agent 失败原因?

    原题
  7. Agent 线上监控应该看哪些指标?

    原题
  8. LLM-as-Judge 在 Agent 评测中如何使用?

    原题
  9. 如何建立失败样本回流机制?

    原题
  10. 从小范围试用到生产开放应如何推进?

    原题