强化学习与对齐
【GRPO适用任务】GRPO为什么更适合数学/代码类任务？ 「腾讯」
原题【PPO】PPO公式、clip机制与KL约束区别、clip原因、epsilon衰减、优势计算与Critic更新、重要性采样作用、算法流程与训练实践。追问：PPO相比其他强化学习算法的优势具体体现在什么方面？ 「京东、字节跳动、百度、百度文心、腾讯、阿里巴巴」
原题【PPO/DPO/GRPO对比】PPO、DPO、GRPO三种算法的不同之处、原理公式、区别。 「京东、字节跳动、百度、阿里通义」
原题【PPO与GRPO对比与细节】GRPO与PPO在RLHF中的核心区别、优化思想、奖励迁移、优势计算、重要性采样、技术选型、框架改动、异步rollout、样本效率、GRPO问题、监控指标、奖励来源与超参调整、数据构造、算法消融。 「字节跳动、百度、美团、腾讯、腾讯混元、蚂蚁集团、阿里巴巴、阿里通义」
原题【PPO流程与计算】分析PPO算法各部分在流程中的位置以及具体计算方式。 「腾讯」
原题【PPO裁剪机制】Clip机制如何起到Trust Region的约束效果？ 「字节跳动」
原题Token在PPO和GRPO当中是如何被计算的？ 「京东」
原题VAPO（Value-based Alignment PPO）去掉Reference Model后，如何防止模型Collapse？ 「字节跳动」
原题verl框架中，你关心GRPO的什么指标？ 「百度」
原题
暂无题目