强化学习与对齐
【RL训练经验】和使用强化学习训练大模型相比，使用强化学习训练小模型需要做出哪些改变？ 「腾讯」
原题原题未说明所问算法、参与者信息或博弈设定。
多智能体RL相关问题：
「百度」
介绍局部博弈算法。
问QMIX，具体怎么做的，
介绍RiskQ论文。问RiskQ论文中，针对场景中需要变化风险策略的怎么做。
原题完整原题
【多智能体RL】多智能体RL相关问题：1. 介绍局部博弈算法。2. 问QMIX，具体怎么做的，介绍RiskQ论文。问RiskQ论文中，针对场景中需要变化风险策略的怎么做。 「百度」
手写奖励模型与策略梯度更新。
Reward的梯度是怎么传到车辆的位移上的？
手写奖励模型
策略梯度更新。
原题完整原题
【奖励函数设计】Reward的梯度是怎么传到车辆的位移上的？手写奖励模型与策略梯度更新。 「字节跳动」
【采样方法】如果某些轨迹rollout特别长,应该丢弃、截断、异步处理,还是复用?各有什么代价? 「字节跳动」
原题【重要性采样】手撕:sequence importance sampling和token importance sampling 「百度」
原题【RLHF了解程度】对RLHF了解的多吗？我看你简历上没写RLHF，平常有用过RLHF吗？是否做了SFT或强化学习相关工作？有没有做人类偏好对齐？ 「百度、腾讯、腾讯混元、蚂蚁集团」
原题【Agentic RL】是否了解Agentic RL？ 「美团」
原题RLHF整体流程与原理：包括Reference模型作用、偏好数据收集与奖励模型训练、SFT与RL目标对比、RLHF引入条件、RLHF相比SFT成本与提升幅度、非技术解释、对齐整体思路与SFT差别。
Reference模型的作用是什么？
讲一下RLHF的基本流程，并说明之前是否用RLHF做过模型对齐。
RLHF相比SFT，训练成本高多少？
RL阶段提升多少？
展开其余 6 个小问
作为项目核心成员，你如何向非技术背景的产品经理或业务方清晰地解释RLHF的原理？
偏好数据集怎么收集，reward model怎么训？
后训练中SFT和RL的目标有什么不同？
在什么情况下需要引入RLHF或DPO？
在做对齐时，为什么SFT之后还要做RLHF？只用SFT可以吗？请说明RLHF的训练流程。
对齐（RLHF/DPO等）整体思路是什么：为什么需要偏好对/奖励信号？相对纯SFT主要差别在哪里？
原题完整原题
【RLHF】RLHF整体流程与原理：包括Reference模型作用、偏好数据收集与奖励模型训练、SFT与RL目标对比、RLHF引入条件、RLHF相比SFT成本与提升幅度、非技术解释、对齐整体思路与SFT差别。具体变体：1. Reference模型的作用是什么？2. 讲一下RLHF的基本流程，并说明之前是否用RLHF做过模型对齐。3. RLHF相比SFT，训练成本高多少？4. RL阶段提升多少？5. 作为项目核心成员，你如何向非技术背景的产品经理或业务方清晰地解释RLHF的原理？6. 偏好数据集怎么收集，reward model怎么训？7. 后训练中SFT和RL的目标有什么不同？8. 在什么情况下需要引入RLHF或DPO？9. 在做对齐时，为什么SFT之后还要做RLHF？只用SFT可以吗？请说明RLHF的训练流程。10. 对齐（RLHF/DPO等）整体思路是什么：为什么需要偏好对/奖励信号？相对纯SFT主要差别在哪里？ 「字节跳动、拼多多、百度、百度文心、美团、腾讯、腾讯混元、蚂蚁集团、阿里巴巴、阿里通义」
【Advantage计算】大模型中的advantage如何计算？ 「字节跳动」
原题【Agentic RL rollout停止条件】多轮Agentic RL里，什么时候停止rollout？ 「字节跳动」
原题
暂无题目