Agent_Harness_Engineering

题集来源:Rocky Ding(WeThinkIn)收录项目:AIGC-Interview-Book查看原题集

题目目录

24 道原题
  1. AI Agent 中的 Harness Engineering 是什么?

    原题

    此处 Harness Engineering 指任务环境、执行器、轨迹与判分组成的评测基础设施。

  2. Harness、Benchmark、Eval、AgentOps 有什么区别?

    原题
  3. 为什么 Agent 比普通 LLM 更需要 Harness Engineering?

    原题
  4. 一个完整 Agent Harness 通常包含哪些模块?

    原题
  5. Agent Harness 的任务数据应该如何设计?

    原题
  6. Task Spec、Environment Spec、Expected Outcome 应该包含什么?

    原题
  7. Environment Simulator / Sandbox 的核心价值是什么?

    原题
  8. Agent Runner 如何保证可复现、可对比、可回放?

    原题
  9. Agent Harness 为什么必须记录完整 Trace?

    原题
  10. Outcome Grading、Trajectory Grading、State Grading 如何区分?

    原题
  11. 规则判分、单元测试、LLM-as-Judge、人审如何组合?

    原题
  12. Agent Harness 应该输出哪些核心指标?

    原题
  13. 编码 Agent Harness 应该如何设计?

    原题
  14. SWE-bench Harness 给编码 Agent 评测带来哪些启发?

    原题
  15. 浏览器 / GUI Agent Harness 应该如何设计?

    原题
  16. 客服 / 工具调用 Agent Harness 应该如何设计?

    原题
  17. 多 Agent / A2A Harness 应该如何设计?

    原题
  18. Agent Harness 如何接入 CI/CD 和发布门禁?

    原题
  19. Smoke Eval、Regression Eval、Safety Eval、Canary Eval 如何分层?

    原题
  20. 如何用 Harness 做失败样本回流和持续优化?

    原题
  21. Harness 如何服务线上 Shadow Mode 和灰度发布?

    原题
  22. 2026 年 Agent Harness Engineering 有哪些主流趋势?

    原题
  23. Model-native Harness 和传统脚本 Harness 有什么区别?

    原题

    本题中的 Model-native Harness 指与 Agent SDK/Runtime 集成的评测实现。

  24. 如何回答“请设计一个企业级 Agent Harness 平台”?

    原题