强化学习与对齐
简单介绍强化学习？
原题简单介绍一下 RLHF？
原题奖励模型需要和基础模型一致吗？
原题RLHF 在实践过程中存在哪些不足？
原题如何解决 人工产生的偏好数据集成本较高，很难量产问题？
原题如何解决三个阶段的训练（SFT->RM->PPO）过程较长，更新迭代较慢问题？
原题如何解决 PPO 的训练过程同时存在4个模型（2训练，2推理），对计算资源的要求较高 问题？
原题基于人类反馈的强化学习流程
原题什么是 LLM Agent?
原题LLM Agent 有什么关键能力？
原题怎样构建基于 LLM 的 Agents？
原题LLM Agents 有哪些类型？
原题是什么让Agent有了自制的能力？
原题题名中的“自制”指正文通过审查与反馈纠正行为的能力。
如何给LLM注入领域知识？
原题用一句话谈一下你对于强化学习的认识吗？
原题请问，你认为强化学习、监督学习和无监督学习三者有什么区别呢？
原题根据你的理解，你认为强化学习的使用场景有哪些呢？
原题请问强化学习中所谓的损失函数与深度学习中的损失函数有什么区别呢？
原题你了解有模型和免模型吗？两者具体有什么区别呢？
原题请问马尔可夫过程是什么？马尔可夫决策过程又是什么？其中马尔可夫最重要的性质是什么呢？
原题请问我们一般怎么求解马尔可夫决策过程？
原题请问如果数据流不具备马尔可夫性质怎么办？应该如何处理？
原题请分别写出基于状态价值函数的贝尔曼方程以及基于动作价值函数的贝尔曼方程。
原题计算贝尔曼方程的常见方法有哪些，它们有什么区别？
原题马尔可夫奖励过程与马尔可夫决策过程的区别是什么？
原题请问最佳价值函数 $V^*$ 和最佳策略 $\pi^**$ 为什么等价呢？
原题能不能手写一下第n步的价值函数更新公式呀？另外，当 n越来越大时，价值函数的期望和方差是分别变大还是变小呢？
原题题名写“期望和方差”，附带正文写“期望偏差”。
同学，能否简述同策略和异策略的区别呢？
原题能否细致地讲一下Q学习算法，最好可以写出其 $Q(s,a)$ 的更新公式。另外，它是同策略还是异策略，原因是什么呢？
原题能否讲一下与Q学习算法类似的Sarsa算法呢，最好也可以写出其对应的 $Q(s,a)$ 更新公式。另外，它是同策略还是异策略，为什么？
原题请问基于价值的方法和基于策略的方法的区别是什么？
原题请简述一下时序差分方法。
原题请问蒙特卡洛方法和时序差分方法是无偏估计吗？另外谁的方差更大呢？为什么？
原题能否简单说一下动态规划方法、蒙特卡洛方法和时序差分方法的异同点？
原题请问深度Q网络是什么？其两个关键性的技巧分别是什么？
原题深度Q网络中的两个技巧————目标网络和经验回放，其具体作用是什么呢？
原题深度Q网络和Q学习有什么异同点？
原题请问，随机性策略和确定性策略有什么区别吗？
原题请问不打破数据相关性，神经网络的训练效果为什么就不好？
原题深度Q网络都有哪些变种？引入状态奖励的是哪种？
原题原题“状态奖励”承接正文的 V(s) 状态价值，所指为 Dueling DQN。
请简述双深度Q网络原理。
原题请问竞争深度Q网络模型有什么优势呢？
原题“竞争深度 Q 网络”是此处 Dueling DQN 的译法。
如何理解策略梯度的公式呢？
原题同学来吧，给我手动推导一下策略梯度公式的计算过程。
原题可以说一下你所了解的基于策略梯度优化的技巧吗？
原题请详细描述REINFORCE算法的计算过程。
原题请简述一下异步优势演员-评论员算法（A3C），另外A3C是同策略还是异策略的模型呀？
原题请问演员-评论员算法有何优点呢？
原题请问异步优势演员-评论员算法具体是如何异步更新的？
原题演员-评论员算法中，演员和评论员两者的区别是什么？
原题演员-评论员算法框架中的评论员起了什么作用？
原题简述异步优势演员-评论员算法的优势函数。
原题请简述一下深度确定性策略梯度算法。
原题请问深度确定性策略梯度算法是同策略算法还是异策略算法？请说明具体原因并分析。
原题你是否了解过分布的分布式深度确定性策略梯度算法（distributed distributional deep deterministic policy gradient，D4PG）呢？请描述一下吧。
原题请问什么是重要性采样呀？
原题请问同策略和异策略的区别是什么？
原题近端策略优化（proximal policy optimization，PPO）
原题请简述一下近端策略优化算法。其与信任区域策略优化算法有何关系呢？
原题解决稀疏奖励的方法有哪些？
原题设计奖励存在什么主要问题？
原题内在好奇心模块是什么？我们应该如何设计内在好奇心模块？
原题具体的模仿学习方法有哪些？
原题行为克隆存在哪些问题呢？对应的解决方法有哪些？
原题逆强化学习是怎么运行的呢？
原题逆强化学习方法与生成对抗网络在图像生成中有什么异曲同工之处？
原题
暂无题目