强化学习与对齐
另外，reward冲突和稀疏奖励问题如何解决？
Reward hacking是什么现象？请举例说明其成因和解决办法。从reward设计或reward model的角度，如何缓解reward hacking？
如何避免奖励坍缩（reward collapse）和熵崩溃/熵爆炸？
如果RewardModel打分出现奖励作弊（如模型生成重复或无意义但高分的内容），应如何排查和解决？
reward冲突
稀疏奖励问题如何解决？
原题完整原题
【奖励黑客】Reward hacking是什么现象？请举例说明其成因和解决办法。从reward设计或reward model的角度，如何缓解reward hacking？如何避免奖励坍缩（reward collapse）和熵崩溃/熵爆炸？如果RewardModel打分出现奖励作弊（如模型生成重复或无意义但高分的内容），应如何排查和解决？另外，reward冲突和稀疏奖励问题如何解决？ 「字节跳动、阿里巴巴」
【无奖励模型获取奖励】RL中我们不训练reward model，还有什么方法获取reward？ 「腾讯」
原题【过程奖励模型】Process reward的优势是什么？可以从哪些维度设计？ 「字节跳动」
原题【奖励系统设计】如何设计奖励系统（reward system）？与一般LLM的奖励系统有何区别？如何设计专业的奖励系统？同时考虑大模型Agent自动化评测的奖励体系设计。 「字节跳动、美团、腾讯」
原题【MCTS实现方式】你这个MCTS是自己实现的还是用的现成框架？ 「美团」
原题【MCTS与Rejection Sampling对比】如果不用MCTS，直接用rejection sampling效果怎么样？ 「美团」
原题【UCB参数调优】UCB的C参数怎么调的？ 「美团」
原题【探索增强方法】如何让强化学习的模型更有探索性？ 「腾讯混元」
原题「百度、美团」
CLIP-Higher: 解耦上下剪切范围(e_low和e_high)，提高e_high的值，允许低概率token有更大的增长空间，从而提升策略多样性，防止过早确定化。
如何平衡难易任务，增强模型对难任务的探索？
原题完整原题
【探索增强与任务平衡】1. CLIP-Higher: 解耦上下剪切范围(e_low和e_high)，提高e_high的值，允许低概率token有更大的增长空间，从而提升策略多样性，防止过早确定化。 2. 如何平衡难易任务，增强模型对难任务的探索？ 「百度、美团」
on-policy蒸馏、软蒸馏和我用的方法之间有什么区别和联系？ 「百度」
原题来源未提供具体训练数据、教师反馈与更新方式。
暂无题目