字节跳动 · 面经

手撕两道，大数和，双栈模拟队列，面试官自己写的题目，手写PPO，DPO，GRPO公式。面试官说他们偏基模，怎么又给我干基模了[牛泪]上次基模让我搓transformer，这次本来要搓多头，但是面试官临时起意搓公式，我真就只背了DPO公式[笑cry]，我还天真的以为这就是个Agent开发岗呢[懵]
一、经历、动机与岗位理解

1. 你能稳定实习六个月吗？
2. 你刚去快手不久，为什么又开始找下一段实习？
3. 你未来更偏向工作还是科研？
4. 你如何理解这个 TikTok 直播 Agent 算法岗位？
5. 你了解直播内容理解、视频理解或 VLM 吗？
6. 你做过 VLM 或视频理解相关项目吗？
7. 你如何理解 Semantic ID/SID 在直播内容表示或推荐中的作用？

二、多智能体项目

1. 请详细介绍一下你的多智能体代码生成项目 。
2. 你们的任务质量、效率、交互成本和效用函数如何定义？
3. HumanEval、MBPP、APPS 的数据结构和评估方式是什么？
4. 你的方法相对于 baseline 的效果和 Token 节省是多少？
5. 如何证明实验结果不是随机波动？
6. 你的方法有哪些消融实验？
7. 你做过 Agent 轨迹采集或轨迹构造吗？
8. 一条完整的 Agent trajectory 包含哪些字段？
9. 你如何证明自己确实做过轨迹构造？
10. 你对数据驱动的轨迹构造感兴趣吗？
11. 如果让你做轨迹信用分配，你会怎么设计？

三、DPO、PPO、GRPO、OPD 与强化学习

1. DPO、PPO 和 GRPO 分别是什么？
2. DPO 与 PPO 的主要区别是什么？
3. DPO 为什么可以不使用显式 Reward Model？
4. DPO 为什么通常被称为离线偏好优化？
5. PPO 为什么属于 on-policy 方法？
6. GRPO 如何利用组内样本构造相对 Advantage？
7. GRPO 与 PPO 相比省去了什么，又增加了什么成本？
8. 你能写出 DPO 的损失函数吗？
9. 你能写出 PPO 的目标函数或 clipping 公式吗？
10. 你能写出 GRPO 的组内标准化 Advantage 吗？
11. 你了解 OPD（On-Policy Distillation）吗？
12. OPD 与普通 RL 训练是什么关系？
13. OPD 与 DPO 有什么区别？
14. 你实现这些训练代码时使用了什么框架？
15. 训练使用了什么硬件？
16. 四张 显卡 是如何进行多卡训练或任务并行的？
17. 训练中是否使用了 DDP、DeepSpeed、Accelerate 或其他分布式框架？#牛客AI配图神器# #面经攒人品# #AI求职记录# #现在AI岗面试都问什么问题？#