强化学习与对齐
【DSPO】DSPO算法：理解其创新点（如动态采样、偏好排序等）。 「美团、腾讯」
原题【GSPO与GRPO区别】GSPO与GRPO有什么区别？为什么实际训练中GSPO效果更好？ 「字节跳动、腾讯」
原题【KL散度选择】为什么使用reversed KL而非forward KL：reverse KL mode-seeking，避免生成低概率样本；forward KL mass-covering，可能产生无效输出。 「蚂蚁集团」
原题【SAPO】SAPO在GSPO基础上优化：引入自适应采样或奖励归一化等。 「字节跳动」
原题【奖励定义】你的Reward具体指什么？ 「字节Seed」
原题【奖励模型角色】Reward Model在训练中扮演了什么角色？ 「百度文心」
原题奖励函数设计、训练、评估与迭代：包括GRPO奖励设计；Reward Model与RLVR定义及数学reward计算；Reward Model是否需要持续迭代；Reward Model训练方法、损失函数（如RankLoss）及训练经验；训练数据构建；RLHF/RL奖励函数设计维度与逻辑；固定GT数据计算reward的问题；Reward Model训练集准确率评估；reward设计调整策略；SFT/RL中奖励函数设定与定期调整；Rule-based与Model-based奖励设计区别、规则细节及场景选择；多样性reward窗口设置；reward hacking判断与解决办法；奖励动态调整方法；强化学习奖励函数定义（含定价算法、促销策略结合）；换道场景对抗性与合理性奖励定义及安全攸关场景比例；轨迹奖励细粒度打分；如何训练reward模型。 「京东、字节Seed、字节跳动、百度、美团、腾讯、腾讯混元、蚂蚁集团、阿里巴巴、阿里通义」
原题奖励模型的设计与训练：包括裁判模型（reward model）的构建、打分偏好（如输入顺序偏好）的解决、通用reward model设计、最新范式（如基于大模型打分 vs 规则）、不同任务（数学、代码、字段提取、长对话、agent RL）的reward设计、训练流程、扩充优化、避免堆字数刷奖励、GSPO的reward计算、代码生成引入静态分析指标（如Pass@k）、字段提取业务维度、模型规模选择等。 「字节Seed、字节跳动、美团、腾讯、蚂蚁集团、阿里巴巴、阿里通义」
原题【奖励不增长问题】Reward一直上不去该怎么办？ 「腾讯」
原题「京东、字节跳动、拼多多、美团、腾讯、蚂蚁集团」
RL奖励函数的设计方法有哪些？
规则奖励带来的问题？
训练后模型是否对输出存在某种偏好？是否存在bad case？是否发生了reward hacking？实际怎么解决的？
如果出现主观类问题该怎么判断好坏？
展开其余 5 个小问
奖励模型的设计还有哪些可以改进的部分？例如在奖励中加权重，数据方面如何考虑不删除难例？
去做RL时，模型偏向通用，回答需针对不同维度设计不同reward函数，如何设计这个过程？
多个Reward function的系数怎么调？多目标优化中，如果不同奖励函数之间发生冲突，例如在某一个reward上越来越高，但在其他reward上呈现波动，应如何解决？
奖励模型的设计原理和方法是什么？为什么要用72b的模型？如果想引入一些规则信息，该如何在模型上改动？
如何评估reward model的作用？
原题完整原题
【奖励函数与模型设计】RL奖励函数的设计方法有哪些？规则奖励带来的问题？训练后模型是否对输出存在某种偏好？是否存在bad case？是否发生了reward hacking？实际怎么解决的？如果出现主观类问题该怎么判断好坏？奖励模型的设计还有哪些可以改进的部分？例如在奖励中加权重，数据方面如何考虑不删除难例？去做RL时，模型偏向通用，回答需针对不同维度设计不同reward函数，如何设计这个过程？多个Reward function的系数怎么调？多目标优化中，如果不同奖励函数之间发生冲突，例如在某一个reward上越来越高，但在其他reward上呈现波动，应如何解决？奖励模型的设计原理和方法是什么？为什么要用72b的模型？如果想引入一些规则信息，该如何在模型上改动？如何评估reward model的作用？ 「京东、字节跳动、拼多多、美团、腾讯、蚂蚁集团」
暂无题目