编码题专题汇编
实现DPO损失函数：dpo_loss(policy_chosen_logps, policy_rejected_logps, ref_chosen_logps, ref_rejected_logps, beta=0.1) -> Tensor。参数：policy_chosen_logps策略模型对选中回复的对数概率(B,)，policy_rejected_logps策略模型对拒绝回复的对数概率(B,)，ref_chosen_logps, ref_rejected_logps参考模型的对数概率(B,)，beta温度缩放因子。返回：标量损失。约束：L=-log(sigmoid(beta * ((pi_c-ref_c)-(pi_r-ref_r)))).mean()。
dpo训练的损失函数和训练目标，dpo如何改进，dpo的loss实现
实现dpo损失，按照想法能写多少是多少，不要求跑通。
实现DPO(直接偏好优化)损失。
写一下DPO loss函数。
手撕DPO的损失函数。
手撕DPO公式loss
原题完整原题
【强化学习、DPO、损失函数｜L3】实现DPO损失函数：dpo_loss(policy_chosen_logps, policy_rejected_logps, ref_chosen_logps, ref_rejected_logps, beta=0.1) -> Tensor。参数：policy_chosen_logps策略模型对选中回复的对数概率(B,)，policy_rejected_logps策略模型对拒绝回复的对数概率(B,)，ref_chosen_logps, ref_rejected_logps参考模型的对数概率(B,)，beta温度缩放因子。返回：标量损失。约束：L=-log(sigmoid(beta * ((pi_c-ref_c)-(pi_r-ref_r)))).mean()。；另一场次补充：dpo训练的损失函数和训练目标，dpo如何改进，dpo的loss实现；另一场次补充：实现dpo损失，按照想法能写多少是多少，不要求跑通。；另一场次补充：实现DPO(直接偏好优化)损失。；另一场次补充：写一下DPO loss函数。；另一场次补充：手撕DPO的损失函数。；另一场次补充：手撕DPO公式loss 「字节Seed、字节跳动、百度、腾讯、蚂蚁集团」
【强化学习、DQN｜L3】写一下DQN的伪代码 「字节跳动」
原题RLHF、PPO、DPO、损失函数
讲一下RLHF的流程，
写一下PPO和DPO的LOSS表达式。
原题完整原题
【RLHF、PPO、DPO、损失函数｜L3】讲一下RLHF的流程，写一下PPO和DPO的LOSS表达式。 「阿里通义」
【PPO、强化学习、损失函数｜L3】PPO实现细节，核心思想，损失函数。 「字节跳动」
原题【强化学习、RLHF、损失函数｜L3】在RLHF中，目前主流的强化学习算法有哪几个，写一下损失函数的表达式。；另一场次补充：在RLHF中，目前主流的强化学习算法有哪些，写一下损失函数的表达式？ 「腾讯、腾讯混元」
原题【GRPO、强化学习、代码实现｜L4】如果落到代码实现，流程原理是什么? 「字节跳动」
原题【强化学习、GRPO、损失函数｜L4】手撕:GRPO loss，讲各个tensor的shape 「字节跳动」
原题【强化学习、PPO｜L4】实现PPO。 「百度、腾讯」
原题【DAPO、强化学习、损失函数、clip、奖励函数、优势函数、Soft IoU｜L5】手撕 DAPO 整个过程，包括奖励函数、组内均值、优势函数以及 loss，外部套一层动态采样，我的论文 Soft IoU 是怎么算的也写进来。；另一场次补充：手撕DAPO，没写出来，我说了下loss计算，然后让我打开论文对着公式详细讲一下，并提问clip的作用。 「京东、字节跳动」
原题来源未提供论文中 Soft IoU 的具体定义。
暂无题目