强化学习与对齐

【DPO与其他算法对比】DPO与其他算法对比：DPO相比SFT有哪些优劣？分别适合什么场景，解决什么问题？DPO、GRPO、SFT三者核心区别是什么？DPO算不算对比学习？GRPO与DPO对比：区别是什么？GRPO比DPO少了哪个模块？PPO与DPO在大模型对齐中的主要区别是什么？DPO训练注意事项有哪些？为什么一些团队会从PPO转向DPO？为什么不用GRPO训练，而是用DPO训练？为什么用GRPO不用DPO？在业务中如何使用DPO？为什么这样设计？在不同项目中应用DPO有哪些区别？为什么不用一些经典的强化学习方法如PPO？ 「京东、字节跳动、百度、美团、腾讯、蚂蚁集团、阿里巴巴、阿里通义」

【DPO原理】DPO原理：DPO为什么不需要单独训练一个奖励模型？DPO是怎么做的？DPO是怎么训练的？DPO有KL散度吗？它是如何去掉奖励函数的？DPO的流程是怎样的，有什么作用，为什么不能和参考模型分布相差太远？DPO算法是怎么实现的，和其他强化学习有什么区别？请介绍DPO（Direct Preference Optimization）算法的原理。你了解其他强化学习吗？介绍一下DPO的流程和损失函数的细节。请描述DPO的流程。 「京东、字节Seed、字节跳动、百度、百度文心、美团、蚂蚁集团、阿里巴巴」

【DPO损失函数推导】DPO损失函数公式是什么？其中π/π_ref比值具体如何写？如何构造偏好对？与基于人类真实反馈的RLHF有什么区别？DPO的原理、损失函数如何计算？优缺点和相关变种有哪些？请手撕DPO损失函数实现：dpo_loss(policy_chosen_logps, policy_rejected_logps, ref_chosen_logps, ref_rejected_logps, beta=0.1) -> Tensor，其中参数为策略模型和参考模型对选中/拒绝回复的对数概率(B,)，beta为温度缩放因子，返回标量损失，约束为L = -log(sigmoid(beta * ((pi_c - ref_c) - (pi_r - ref_r)))).mean()。 「京东、字节Seed、字节跳动、百度、腾讯」

【DPO训练技巧】DPO训练技巧：DPO训练涉及的trick有哪些？DPO与SFT在训练上有什么不同？训练了几个模型？DPO训练过程中和结束后，通常看哪些指标来判断模型是否训练好？DPO训练过程涉及的模型及各自的作用。DPO训练通常有哪些注意事项？ 「百度、美团、阿里巴巴」