强化学习与对齐
【ATPO算法】ATPO算法的核心特性、工作原理是什么？其与RLEP的差异有哪些？ 「美团」
原题同简称方法存在Agentic Turn-based、Adaptive Tree医疗对话、Adaptive Trajectory扩散模型等路线；原文只有简称和公司，无法唯一确定所指。
tag 未说明对应 token、turn、任务或其他粒度。
「京东、字节跳动、百度、百度文心、美团、腾讯、蚂蚁集团、阿里巴巴、阿里通义」
请详细比较DPO、PPO、GRPO、DAPO、GSPO等算法的原理、损失函数、优势函数设计、区别、优势与劣势，并解释DPO的探索如何体现；
为什么PPO效果可能比DPO强，多轮DPO为何有提升；
同时使用DPO和GRPO的设计原因及实验验证合理性；
理论推导DPO的目标函数；
介绍tag level与DAPO的区别；
项目为什么不用DPO而用GRPO？
原题完整原题
【DPO与其他算法对比】请详细比较DPO、PPO、GRPO、DAPO、GSPO等算法的原理、损失函数、优势函数设计、区别、优势与劣势，并解释DPO的探索如何体现；为什么PPO效果可能比DPO强，多轮DPO为何有提升；同时使用DPO和GRPO的设计原因及实验验证合理性；理论推导DPO的目标函数；介绍tag level与DAPO的区别；项目为什么不用DPO而用GRPO？ 「京东、字节跳动、百度、百度文心、美团、腾讯、蚂蚁集团、阿里巴巴、阿里通义」
【DPO变种与KL散度】DPO变种了解嘛，DPO的KL散度是如何定义的？DPO是如何choose和reject的？ 「腾讯」
原题【DPO局限性】DPO离线更新、SFT以及DPO过程本身存在哪些局限性或卡点？ 「百度、美团、腾讯」
原题在DPO偏好对齐中，如何选择不同的reward或其他层面的偏好对齐依据？
为什么选择DPO而非PPO，
为什么选择Qwen而非其他模型？
数据如何构建，实验如何对比？
原题完整原题
【DPO应用与设计】在DPO偏好对齐中，如何选择不同的reward或其他层面的偏好对齐依据？为什么选择DPO而非PPO，为什么选择Qwen而非其他模型？数据如何构建，实验如何对比？ 「百度、阿里巴巴」
「字节跳动、阿里巴巴」
推导DPO的Loss：它如何从Bradley-Terry模型推导出来？
DPO loss和GRPO loss有什么区别？
原题完整原题
【DPO损失函数推导】推导DPO的Loss：它如何从Bradley-Terry模型推导出来？DPO loss和GRPO loss有什么区别？ 「字节跳动、阿里巴巴」
【DPO改进方法】DPO如何改进？ 「美团」
原题【DPO数据构造】多分类做DPO，偏好对怎么构造？ 「腾讯」
原题【DPO训练技巧】DPO训练技巧：为什么DPO会出现正样本reward也降低的情况？有没有可能DPO训练后choosen和reject的概率都提升了？应该怎么办？你做DPO时为什么搭配0.2权重的SFT loss，防止什么问题？ 「京东、字节跳动、阿里巴巴」
原题
暂无题目