真面经，好答案。面试之前，先来面栈。

偏好对齐

本分类共 9 个专题 · 761 道题

已筛选

共 33 道题

排序：

0896
DPO 的算法原理是什么？
模型训练与对齐偏好对齐
原理机制已有答案
进阶
9 篇面经3 个题集来源
3541
RLHF 如何定义对话偏好和好坏标注标准，并构建偏好数据集？
模型训练与对齐偏好对齐
方案设计
进阶
2 篇面经3 个题集来源
4512
经典 RLHF 的三个阶段分别是什么，各阶段的输入、输出和目标是什么？
模型训练与对齐偏好对齐
原理机制
进阶
暂无面经5 个题集来源
2899
DPO 训练有哪些需要注意的事项？
模型训练与对齐偏好对齐
方案设计
进阶
2 篇面经2 个题集来源
4511
RLHF 相比 SFT 解决哪些对齐问题，为什么仅靠 SFT 往往不够？
模型训练与对齐偏好对齐
比较选型
进阶
暂无面经4 个题集来源
4518
什么是 RLAIF，使用 AI 反馈进行对齐有哪些潜力和风险？
模型训练与对齐偏好对齐
原理机制
进阶
暂无面经4 个题集来源
0275
如何从 KL 约束的强化学习目标推导 DPO 目标？
模型训练与对齐偏好对齐
原理机制
深入
1 篇面经2 个题集来源
4631
常见偏好对齐方法有哪些，应如何比较它们的取舍？
模型训练与对齐偏好对齐
比较选型
进阶
暂无面经3 个题集来源
4895
RLHF 在实践中有哪些局限与挑战？
模型训练与对齐偏好对齐
开放讨论
—
暂无面经3 个题集来源
4946
Constitutional AI 如何利用原则约束改进模型，与 RLHF 有何区别？
模型训练与对齐偏好对齐
原理机制
进阶
暂无面经3 个题集来源