评估与全局观:怎么量化 Agent 好坏、落地最大挑战

题集来源:Onefly(ranxi2001)收录项目:zero2Agent查看原题集

题目目录

55 道原题
  1. 独立 Verifier 和 LLM-as-Judge 应该如何分工?

    原题
  2. 如何判断用户反馈真的让 Agent 变好,而不是噪声或选择偏差?

    原题
  3. 哪些业务场景不适合引入 Agent?

    原题
  4. 如何设计消融实验并判断模块贡献?

    原题
  5. 串行链路修改一个节点后,如何做精确归因?

    原题
  6. 供应商不返回 usage 时,如何核算 Agent 的 Token 和成本?

    原题

    本题的 Token 指模型计量词元,而非身份认证凭据。

  7. 评审 Agent 为什么要左移?应该左移到需求、设计还是编码阶段?

    原题
  8. Skill 的调用量、Token 成本和效果埋点应该放在哪一层?

    原题
  9. 如何为跨任务重复出现的安全或质量问题生成稳定 Fingerprint,并安全接入自动修复 Agent?

    原题
  10. 智能问数结果出现误差时,如何区分数据链路问题与模型数值理解问题?

    原题