真面经，好答案。面试之前，先来面栈。

模型训练与对齐

本分类共 9 个专题 · 704 道题

已筛选

共 704 道题

排序：

4514
RLHF 为什么常选择 PPO，而不是 REINFORCE 或 Q-learning？
模型训练与对齐强化学习与奖励
比较选型
深入
暂无面经2 份题集
4515
PPO 对齐训练的 KL 惩罚系数过大或过小有什么影响，应如何调节？
模型训练与对齐训练框架、调参与排障
故障排查
深入
暂无面经4 份题集
4516
RLHF 离线奖励很高，但上线回答模式化、奉承且信息不足，应如何排查？
模型训练与对齐偏好对齐
故障排查
深入
暂无面经2 份题集
4517
强化学习如何解决信用分配，Token 级和序列级奖励有什么区别？
模型训练与对齐强化学习与奖励
比较选型
深入
暂无面经10 份题集
4518
什么是 RLAIF，使用 AI 反馈进行对齐有哪些潜力和风险？
模型训练与对齐偏好对齐
原理机制
进阶
暂无面经6 份题集
4535
高质量合成数据可能在未来大模型训练中发挥什么作用？
模型训练与对齐训练数据构建与治理
开放讨论
—
暂无面经7 份题集
4626
按训练目标划分，大模型微调有哪些主要类型？
模型训练与对齐预训练、续训与 SFT
概念解释
基础
暂无面经1 份题集
4627
什么是灾难性遗忘，为什么大模型微调需要关注它？
模型训练与对齐预训练、续训与 SFT
原理机制
进阶
暂无面经4 份题集
4629
参数高效微调 PEFT 如何缓解全参数微调的限制？
模型训练与对齐参数高效微调
原理机制
进阶
暂无面经4 份题集
4631
常见偏好对齐方法有哪些，应如何比较它们的取舍？
模型训练与对齐偏好对齐
比较选型
进阶
暂无面经3 份题集