RLHF 相比 SFT 解决哪些对齐问题，为什么仅靠 SFT 往往不够？

• 和传统SFT相比,RLHF旨在解决语言模型中的哪些核心问题?

• RLHF 完整流程？为什么 SFT 不够？

什么是大模型幻觉？ 什么是大模型幻觉？包括复读机问题（重复生成内容）和胡说八道的原因。 如何减轻幻觉问题？具体方法包括：RLHF、SFT后出现幻觉的可能原因及处理、后训练减少脱离人设的幻觉、MCP工具较多时避免幻觉、LMM中解决图中没有但模型乱说的情况、通过算法规避虚假图文和隐私泄露、对抗性测试/红队攻击发现安全漏洞、后训练在安全合规中的作用。

• 后训练在安全合规中的作用。

RLHF RLHF整体流程与原理：包括Reference模型作用、偏好数据收集与奖励模型训练、SFT与RL目标对比、RLHF引入条件、RLHF相比SFT成本与提升幅度、非技术解释、对齐整体思路与SFT差别。

• 后训练中SFT和RL的目标有什么不同？
• 在什么情况下需要引入RLHF或DPO？

• 【RLHF符合人类偏好原理】为什么能让模型更符合人的偏好？ 「字节跳动」

GRPO奖励函数设计

• 为什么还要做GRPO，
• 为什么不直接SFT做到底？

• OpenAI对齐为什么要用强化学习，别的方法不行吗？