数据与评测面试指南

题集来源:阿东玩 AI(Adong)收录项目:AgentGuide查看原题集

题目目录

18 道原题
  1. 怎样构造 hard negative,避免只提高简单样本分数?

    原题
  2. Benchmark 已被广泛训练,继续使用它还有什么价值?

    原题
  3. 线上反馈只有点赞 / 点踩,怎样处理选择偏差和延迟反馈?

    原题
  4. 如何对一次 prompt 更新做回归测试与故障定位?

    原题
  5. 多轮 Agent 的失败该归因给模型、工具、检索、Harness 还是环境?

    原题
  6. 指标涨了但用户价值不变,如何检查代理指标是否失真?

    原题
  7. 如何设计一个会随着系统迭代而不过时的评测集?

    原题
  8. 高风险任务中,平均分和最差切片哪个更重要?为什么?

    原题