真面经，好答案。面试之前，先来面栈。

偏好对齐

本分类共 9 个专题 · 761 道题

已筛选

共 33 道题

排序：

0273
SFT 与偏好数据如何构建，如何控制数据污染和分布偏移？
模型训练与对齐偏好对齐
方案设计
进阶
1 篇面经1 个题集来源
0604
DPO 中好坏样例生成概率都下降的问题如何理解？
模型训练与对齐偏好对齐
原理机制
进阶
1 篇面经1 个题集来源
0737
DPO 是否需要额外加入 KL 约束？
模型训练与对齐偏好对齐
原理机制
进阶
1 篇面经1 个题集来源
3051
DPO 为什么不需要在线采样，训练数据采用什么格式？
模型训练与对齐偏好对齐
原理机制
进阶
1 篇面经1 个题集来源
3483
为什么 DPO 不适合当前项目场景？
模型训练与对齐偏好对齐
比较选型
进阶
2 篇面经
4516
RLHF 离线奖励很高，但上线回答模式化、奉承且信息不足，应如何排查？
模型训练与对齐偏好对齐
故障排查
深入
暂无面经2 个题集来源
4811
RLHF 提高安全性却损害困难任务能力时，如何评估和缓解对齐税？
模型训练与对齐偏好对齐
故障排查
深入
暂无面经2 个题集来源
4997
什么是 AI 对齐，为什么需要使模型行为符合人类意图与价值要求？
模型训练与对齐偏好对齐
概念解释
基础
暂无面经2 个题集来源
5430
实现数值稳定的 DPO 偏好损失。
模型训练与对齐偏好对齐
代码题
进阶
暂无面经2 个题集来源
5826
图像生成模型如何通过数据与偏好后训练改善审美并保持多样性？
模型训练与对齐偏好对齐
方案设计
进阶
暂无面经2 个题集来源