强化学习与对齐
【Critic模型】Critic模型的作用是什么？它是如何训练的？为什么有了reward model还需要critic model？ 「字节跳动、蚂蚁集团」
原题【KL散度在RLHF中的作用】KL散度在RLHF的训练目标中扮演什么角色？如何直观理解其公式所衡量的差异？KL散度前的系数有什么含义，应该怎么设置？ 「腾讯、腾讯混元、阿里巴巴」
原题【KL系数β影响】实际训练中，KL系数β太大 / 太小分别会出现什么现象？ 「腾讯」
原题【R1冷启动】R1在SFT时冷启动的目的是什么？ 「美团、阿里巴巴」
原题「字节Seed、字节跳动、百度、百度文心、腾讯混元、阿里巴巴」
请完整阐述RLHF（基于人类反馈的强化学习）的实施流程，包括预训练模型、SFT（监督微调）、奖励模型构建（训练目标及方法）、强化学习优化（如PPO算法原理）等环节，并说明PPO中的value model和reward model如何训练，以及RLHF的三个主要阶段。同时，详细说明RLHF的做法，包括PPO算法的原理，
DPO和PPO的区别。
原题完整原题
【RLHF流程与原理】请完整阐述RLHF（基于人类反馈的强化学习）的实施流程，包括预训练模型、SFT（监督微调）、奖励模型构建（训练目标及方法）、强化学习优化（如PPO算法原理）等环节，并说明PPO中的value model和reward model如何训练，以及RLHF的三个主要阶段。同时，详细说明RLHF的做法，包括PPO算法的原理，以及DPO和PPO的区别。 「字节Seed、字节跳动、百度、百度文心、腾讯混元、阿里巴巴」
【RLHF符合人类偏好原理】为什么能让模型更符合人的偏好？ 「字节跳动」
原题「腾讯、腾讯混元、阿里通义」
讲一下RLHF的流程，
写一下PPO和DPO的LOSS表达式。在RLHF中，目前主流的强化学习算法有哪几个，写一下损失函数的表达式。
原题完整原题
【RLHF算法对比】讲一下RLHF的流程，写一下PPO和DPO的LOSS表达式。在RLHF中，目前主流的强化学习算法有哪几个，写一下损失函数的表达式。 「腾讯、腾讯混元、阿里通义」
【RLVR奖励设计】方法中提到的RLVR，reward怎么设计和计算的，单单是二元？ 「字节跳动」
原题【RL数据设计】rl的数据怎么设计，可以复用sft的数据吗？ 「美团」
原题【RL格式崩溃原因】在RL的时候，格式崩溃的原因是什么？ 「腾讯」
原题
暂无题目