Agentic RL 面试指南

题集来源:阿东玩 AI(Adong)收录项目:AgentGuide查看原题集

题目目录

19 道原题
  1. Agentic RL 与普通单轮 RLVR 的核心差别是什么?

    原题
  2. 为什么工具型 Agent 更接近 POMDP?

    原题
  3. 为什么把最终奖励广播给全部 token 有问题?

    原题
  4. SFT 与 Agentic RL 怎样配合?

    原题
  5. 什么任务不应该上 Agentic RL?

    原题
  6. 工具返回是否计算 loss?

    原题
  7. 如何防止早停骗奖励?

    原题
  8. GRPO 搬到多轮 Agent 会先遇到什么问题?

    原题
  9. 同一次 rollout 中三个并行 tool call 算一个 action 还是三个?两种建模如何影响信用分配?

    原题
  10. 强制 max_steps 截断的轨迹应该记失败、丢弃还是 bootstrap?各自隐含什么语义?

    原题
  11. 如何用实验区分“信用分配差”和“探索不足”?

    原题
  12. 异步 rollout 中旧策略轨迹太多会怎样?如何量化和限制 staleness?

    原题
  13. 过程奖励模型错了,比只有最终奖励更危险吗?

    原题
  14. Reward hacking 在 Coding Agent 中有哪些具体形式?

    原题
  15. 如何判断该继续做 Harness,还是开始做 RL?

    原题
  16. 环境随机性如何破坏 group-relative baseline 的可比性?

    原题
  17. 轨迹长度差 10 倍时,loss 聚合怎样避免偏向长样本或短样本?

    原题
  18. 换了一套工具 schema 后,训练所得策略为什么可能失效?

    原题
  19. 为仓库级 Coding Agent 设计一条 Agentic RL 训练流水线。

    原题