真面经，好答案。面试之前，先来面栈。

模型训练与对齐

本分类共 9 个专题 · 704 道题

已筛选

共 704 道题

排序：

6305
对小模型进行强化学习时，训练设计相较大模型应如何调整？
模型训练与对齐强化学习与奖励
方案设计
进阶
暂无面经2 份题集
6308
DPO 与 GRPO 如何串行训练，并判断阶段衔接是否有效？
模型训练与对齐偏好对齐
方案设计
进阶
暂无面经2 份题集
6343
PSFT 如何通过近端约束改进监督微调？
模型训练与对齐预训练、续训与 SFT
原理机制
深入
暂无面经1 份题集
6344
RM、ORM、PRM、Verifier 与 Judge 如何区分？
模型训练与对齐强化学习与奖励
比较选型
进阶
暂无面经1 份题集
6345
后训练中的长度偏差如何产生，损失归约应如何选择？
模型训练与对齐训练框架、调参与排障
原理机制
进阶
暂无面经2 份题集
6347
ORPO 如何将监督微调与偏好优化结合？
模型训练与对齐偏好对齐
原理机制
进阶
暂无面经1 份题集
6348
KTO 如何利用非成对的好坏反馈进行模型对齐？
模型训练与对齐偏好对齐
原理机制
进阶
暂无面经2 份题集
6349
SimPO 的无参考模型偏好目标如何工作？
模型训练与对齐偏好对齐
原理机制
进阶
暂无面经1 份题集
6350
在线 DPO 与离线 DPO 的数据流程、收益和代价有什么区别？
模型训练与对齐偏好对齐
比较选型
进阶
暂无面经1 份题集
6351
如何构建 PRM 的步骤级训练数据与标签？
模型训练与对齐训练数据构建与治理
方案设计
进阶
暂无面经1 份题集