Agent 算法工程师一面、二面面经

📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。

配图文字：

面经合集｜一面

1. SFT 和 RL 之间的衔接点如何判断？什么时候应该从 SFT 进入 RL？
2. 如何判断 SFT 阶段是否训练充分，可以进入 RL？是否应该以指标最高为标准？
3. 你设计的双维度奖励函数具体包含哪两个维度？各自解决什么问题？
4. 一致性奖励和完整性奖励是如何定义的？评分机制是怎样的？
5. 奖励函数是否依赖 ground truth label？如何利用大模型进行奖励打分？
6. 奖励分数是连续值还是二值（0/1）？为什么选择二值奖励而非阶梯式奖励？
7. 使用大模型（如 Qwen-3）做奖励打分时，是否需要微调？为什么？
8. RAG 项目中你做了哪些微调？为什么没有使用 RL？
9. Ranker 模型是如何微调的？使用了什么数据格式和模型架构？
10. 你如何解决大模型记忆遗忘问题？
11. 是否使用过分布式训练框架（如 DeepSpeed、DDP）？对这些工具的[原图此处文字残缺]
12. 你调用过 OpenAI 的哪些接口？主要使用的是 chat completion 还是 embedding？

面经合集｜二面

1. 你在阿里实习中使用了 8B 模型反超 14B 模型的效果，你是如何设计基于商的困难样本挖掘方法的？
2. 为什么在电商客服场景中，小模型比大模型效果更好？
3. 你使用的强化学习方法是 GSPU，它是 on-policy 还是 off-policy？为什么？
4. GSPU 和 GRPO 的主要区别是什么？
5. PPO 中的 critic 模型是如何计算奖励的？它的公式是什么？
6. 你做 SFT 时为什么选择全量微调而不是 LoRA 或 QLoRA？
7. 你提到使用双维度奖励函数，具体是哪两个维度？如何设计的？
8. 你如何解决强化学习中的 reward hacking 问题？
9. 为什么在你的场景中不适合使用 DPO？
10. 你如何构建 SFT 和 RL 阶段的训练数据？reason 是由人标注还是模型生成？
11. 如果让你重新设计这个系统，你会如何改进 SFT 和 RL 流程？（高频问题，面试官想听的是 AutoResearch 或者 Agentic 范式的改进）