强化学习与对齐
【负向奖励权重系数确定】在RLHF中引入负向奖励Penalty时，如何确定惩罚项的权重系数? 「字节跳动」
原题【防止堆字数刷奖励】在RLHF训练中，如何防止模型通过单纯增加输出长度（堆字数）来刷高奖励分数？ 「腾讯、腾讯混元」
原题【Agentic RL训练效率与长尾轨迹优化】Agentic RL中影响训练效率的因素有哪些？工具调用、API请求、沙箱执行成为瓶颈时，可以怎么优化？多轮Agentic RL是否遇到过推理耗时和长尾轨迹？有哪些优化方法？ 「字节跳动」
原题【Agent评测指标与RL目标对齐】大模型Agent自动化评测指标与RL训练目标如何实现对齐？ 「美团」
原题【DAPO训练框架】介绍自己在快手的工作，我讲了如何训练reward model，如何在rl时进行信用分配，被问到训练框架，让我介绍dapo？ 「腾讯」
原题SFT效果怎么评估，
为什么还要做GRPO，
GRPO奖励函数设计，为什么要这么设计，
为什么不直接SFT做到底？
原题完整原题
【GRPO奖励函数设计】SFT效果怎么评估，为什么还要做GRPO，GRPO奖励函数设计，为什么要这么设计，为什么不直接SFT做到底？ 「京东」
【R1参考模型选择】R1流程里为什么在冷启动+RL后得到那个80W数据集后重头用V3做reference model，而不是冷启动+RL后的model？ 「美团」
原题【Reward Hacking及解决方案】RLHF训练中容易出现reward hacking，请解释其原因，并特别说明只用用户点击作为奖励信号时，为什么会产生分布偏移？如何发现并解决reward hacking问题？同时，还有哪些其他潜在风险（如过拟合等）？ 「字节跳动、美团、腾讯、蚂蚁集团、阿里巴巴」
原题特别说明PPO与DPO的区别、PPO与GRPO的区别、DPO的数据构造方式及优势函数、如何平衡PPO的探索性与确定性；
请详细讲解RLHF的流程，
并对比PPO、DPO、GRPO、KTO等后训练方法的原理、Loss形式、优缺点、适用场景及落地场景；
特别说明PPO与DPO的区别、
PPO与GRPO的区别、
DPO的数据构造方式及优势函数、
如何平衡PPO的探索性与确定性；
同时介绍NF4量化、双重量化、分页优化器等创新点。
请详细说明你使用过的人类反馈强化学习框架，并阐述其在数据收集、奖励模型训练、策略优化等环节的关键技术点。
原题完整原题
【RLHF流程与算法对比】请详细讲解RLHF的流程，并对比PPO、DPO、GRPO、KTO等后训练方法的原理、Loss形式、优缺点、适用场景及落地场景；特别说明PPO与DPO的区别、PPO与GRPO的区别、DPO的数据构造方式及优势函数、如何平衡PPO的探索性与确定性；同时介绍NF4量化、双重量化、分页优化器等创新点。请详细说明你使用过的人类反馈强化学习框架，并阐述其在数据收集、奖励模型训练、策略优化等环节的关键技术点。 「京东、百度、腾讯、蚂蚁集团、阿里通义」
【RLVR缺陷】了解RLVR的缺陷吗？ 「字节跳动」
原题
暂无题目