强化学习与对齐
【RL监控指标】rl过程需要监控哪些指标？ 「美团」
原题【RL相比SFT的收益】RL相比SFT的收益体现在哪里？ 「字节跳动」
原题【RL阶段数据与环境】RL阶段会需要什么样的数据和环境？ 「字节Seed」
原题【Rollout采样任务完成保证】怎么保证 Rollout 采样时模型能成功完成预期任务？ 「阿里巴巴」
原题「字节Seed、字节跳动、美团、腾讯、腾讯混元、阿里巴巴」
SFT冷启动和后续RL的关系是什么？为什么很多RL任务前需要SFT冷启动？是否有证明Cold-Start SFT后再RL的模型比只RL的模型效果更好？
为什么要做SFT，有什么好处？
SFT训练达到何种效果指标或阶段后，才适合进入RL优化阶段？
为什么构造了推理类Reasoning训练数据后，还需要接入RL训练？只SFT可以吗？为什么要做RL而不做SFT？
介绍SFT与RL（如GRPO、PPO）的关系，为什么SFT之后还需要进行RLHF/DPO等对齐训练？仅使用SFT存在哪些局限性？只SFT可以吗？
原题完整原题
【SFT与RL关系】SFT冷启动和后续RL的关系是什么？为什么很多RL任务前需要SFT冷启动？是否有证明Cold-Start SFT后再RL的模型比只RL的模型效果更好？为什么要做SFT，有什么好处？SFT训练达到何种效果指标或阶段后，才适合进入RL优化阶段？为什么构造了推理类Reasoning训练数据后，还需要接入RL训练？只SFT可以吗？为什么要做RL而不做SFT？介绍SFT与RL（如GRPO、PPO）的关系，为什么SFT之后还需要进行RLHF/DPO等对齐训练？仅使用SFT存在哪些局限性？只SFT可以吗？ 「字节Seed、字节跳动、美团、腾讯、腾讯混元、阿里巴巴」
【SFT与RL区别】SFT和RL（包括RLHF）最大的区别是什么？分别适用于什么场景？如果要改变一个模型的人设（例如对自身的认知），应该使用哪种训练方式？ 「字节跳动、百度、阿里巴巴」
原题【Value Model必要性】能不能不用 Value Model？ 「美团」
原题【Verifier的作用】为什么要用verifier？ 「百度」
原题【价值观对齐技术路径】在进行大模型价值观对齐时，除了RLHF，还有哪些技术路径？ 「蚂蚁集团」
原题【正向KL与反向KL区别】正向KL和反向KL在大模型RL里有什么不同？ 「腾讯」
原题
暂无题目