真面经，好答案。面试之前，先来面栈。

偏好对齐

本分类共 9 个专题 · 1113 道题

已筛选

共 48 道题

排序：

18762
开放式任务没有非零即一的明确奖励时，怎样设计模型对齐方案？
模型训练与对齐偏好对齐
方案设计
进阶
1 篇面经
2706
如何构建 chosen/rejected 偏好对，模型答案优于标注答案时如何处理？
模型训练与对齐偏好对齐
方案设计
进阶
1 篇面经
4922
如何训练大模型识别知识边界，并在不知道时诚实回答？
模型训练与对齐偏好对齐
方案设计
进阶
暂无面经1 个题集来源
5207
为什么大语言模型的对齐与安全风险难以完全消除？
模型训练与对齐偏好对齐
开放讨论
—
暂无面经1 个题集来源
5308
如何把停留时长等隐式行为反馈转为可靠的 DPO 偏好数据？
模型训练与对齐偏好对齐
方案设计
深入
暂无面经1 个题集来源
6084
实现 Bradley–Terry 成对奖励模型损失。
模型训练与对齐偏好对齐
代码题
进阶
暂无面经1 个题集来源
6347
ORPO 如何将监督微调与偏好优化结合？
模型训练与对齐偏好对齐
原理机制
进阶
暂无面经1 个题集来源
6349
SimPO 的无参考模型偏好目标如何工作？
模型训练与对齐偏好对齐
原理机制
进阶
暂无面经1 个题集来源