Agent安全评测与AgentOps

题集来源:Rocky Ding(WeThinkIn)收录项目:AIGC-Interview-Book查看原题集

题目目录

28 道原题
  1. Agent 的行动能力如何改变风险与评测对象?

    原题
  2. Agent 的风险边界和 Chatbot 有什么区别?

    原题
  3. Agent 评测为什么不能只看最终答案对不对?

    原题
  4. AgentOps 和 MLOps / LLMOps 有什么区别?

    原题
  5. Guardrails 应如何分层覆盖执行过程?

    原题
  6. 输入、输出、工具、状态四类 Guardrails 如何设计?

    原题
  7. Prompt Injection 在 Agent 系统中为什么更危险?

    原题
  8. 工具权限、沙箱和人工审批如何协同?

    原题
  9. 如何设计 Agent 的最小权限体系?

    原题
  10. 如何同时衡量 Agent 的结果、过程和代价?

    原题
  11. SWE-bench、SWE-bench Verified、SWE-bench Pro 分别说明什么?

    原题
  12. WebArena、OSWorld、GAIA、τ-bench 分别评估什么?

    原题
  13. 为什么公开 Benchmark 不能替代企业自建评测集?

    原题
  14. 如何构建一个企业内部 Agent Eval Harness?

    原题
  15. Agent 运行轨迹应包含哪些可诊断信息?

    原题
  16. 如何通过 trace 定位 Agent 失败原因?

    原题
  17. Agent 线上监控应该看哪些指标?

    原题
  18. LLM-as-Judge 在 Agent 评测中如何使用?

    原题
  19. 如何建立失败样本回流机制?

    原题
  20. 从小范围试用到生产开放应如何推进?

    原题
  21. 只读、建议、受控写入、自动执行四个阶段如何划分?

    原题
  22. Agent 发布、灰度、回滚应该如何设计?

    原题
  23. Agent 成本、延迟和可靠性如何治理?

    原题
  24. 如何设计 Agent 事故响应和审计体系?

    原题
  25. 不同 Agent 场景应如何设定风险重点?

    原题
  26. 编码 Agent 安全评测应重点覆盖什么?

    原题
  27. 浏览器 / GUI Agent 安全评测应重点覆盖什么?

    原题
  28. 企业客服 / 办公 Agent 安全评测应重点覆盖什么?

    原题