强化学习与对齐
【分层RL】为什么设计分层强化学习的框架？上下层的奖励维度一致吗？ 「百度」
原题奖励函数设计相关问题：
「字节Seed、字节跳动、腾讯」
RL过程中有没有遇到reward hacking问题？如何解决？
可不可以直接把reward作为loss？
对于你做过的xxx项目，为什么不做RL，如果用RL，reward怎么设计？
原题完整原题
【奖励函数设计】奖励函数设计相关问题：1. RL过程中有没有遇到reward hacking问题？如何解决？2. 可不可以直接把reward作为loss？3. 对于你做过的xxx项目，为什么不做RL，如果用RL，reward怎么设计？ 「字节Seed、字节跳动、腾讯」
【熵坍塌】熵坍塌是什么现象，如何判断，以及在RL训练中如何解决？ 「百度、美团、阿里巴巴」
原题原题未定义轨迹类型、anchor含义及质量目标。
采样方法相关问题：
「字节跳动、百度、腾讯」
在强化学习训练中，样本量的选择是否影响到模型的收敛速度？如果有，如何应对？
如何做reject sampling？
模型出的轨迹是直接执行还是用作启发？
模型的anchor，如何得到质量更好的轨迹？
原题完整原题
【采样方法】采样方法相关问题：1. 在强化学习训练中，样本量的选择是否影响到模型的收敛速度？如果有，如何应对？2. 如何做reject sampling？3. 模型出的轨迹是直接执行还是用作启发？4. 模型的anchor，如何得到质量更好的轨迹？ 「字节跳动、百度、腾讯」
【重要性采样】OffPolicy策略要求采样的策略(旧策略)和训练的策略(新策略)差异不能过大，否则会导致采样数据不准确，影响训练效果。为什么需要重要性采样？ 「百度」
原题Agentic RL相关问题：
「字节跳动、拼多多、阿里巴巴」
为什么多轮Agentic RL会存在信用分配（credit assignment）问题？
使用RL训练Agentic模型需要处理哪些问题？
比较Agentic RL与传统RL的异同。
给定一个query，描述Agentic RL的完整训练流程，包括Agent loop如何运行：模型输出、工具调用、工具返回、上下文拼接、继续生成等步骤如何衔接？
在异步Agentic RL中，如何补偿策略滞后（policy lag）或离策略（off-policy）问题？
原题完整原题
【Agentic RL】Agentic RL相关问题：1. 为什么多轮Agentic RL会存在信用分配（credit assignment）问题？2. 使用RL训练Agentic模型需要处理哪些问题？3. 比较Agentic RL与传统RL的异同。4. 给定一个query，描述Agentic RL的完整训练流程，包括Agent loop如何运行：模型输出、工具调用、工具返回、上下文拼接、继续生成等步骤如何衔接？5. 在异步Agentic RL中，如何补偿策略滞后（policy lag）或离策略（off-policy）问题？ 「字节跳动、拼多多、阿里巴巴」
【DeepSeek-R1】了解DeepSeek-R1吗？请介绍其训练阶段。 「字节跳动、蚂蚁集团」
原题原题未给业务反馈或可验证条件，无法确定具体奖励函数。
RL应用场景相关问题：
「字节跳动、百度、腾讯、蚂蚁集团」
假如你对 grounding 任务做 rl，需要注意什么。(grounding 专门的奖励，可以用 IOU)？
在论文中，使用强化学习算法，如何考虑部署到真实场景中，如何解决这个gap？
开放问答，不知道那些关键要点在哪里，要从海量数据里面得到，实际业务中要怎么设计强化学习？
谈谈你对端到端规划或基于强化学习的决策的看法？现阶段它能否完全替代规则式规划？
原题完整原题
【RL应用场景】RL应用场景相关问题：1. 假如你对 grounding 任务做 rl，需要注意什么。(grounding 专门的奖励，可以用 IOU)？2. 在论文中，使用强化学习算法，如何考虑部署到真实场景中，如何解决这个gap？3. 开放问答，不知道那些关键要点在哪里，要从海量数据里面得到，实际业务中要怎么设计强化学习？4. 谈谈你对端到端规划或基于强化学习的决策的看法？现阶段它能否完全替代规则式规划？ 「字节跳动、百度、腾讯、蚂蚁集团」
【RL算法概述】RLEP算法的核心特性与工作原理是什么？ 「美团」
原题【RL算法选型】MoE 你用什么 rl 算法，讲解原理？ 「百度」
原题
暂无题目