理论基础面试题
什么是"奖励作弊/奖励黑客"（Reward Hacking）？请结合一个具体的LLM应用场景给出一个例子，并探讨几种可能的缓解策略。
原题RLHF流程复杂且不稳定。近年来出现了一些替代方案，例如DPO。请解释DPO的核心思想，并比较它与传统RLHF（基于PPO）的主要区别和优势。
原题想象一下，你训练完成的RLHF模型在离线评估中表现优异，奖励模型分数很高，但上线后用户反馈其回答变得越来越"模式化"、奉承、且缺乏信息量。你认为可能的原因是什么？你会从哪些方面着手分析和解决这个问题？
原题你知道Deepseek的GRPO吗，它和PPO的主要区别是什么？优劣是什么？
原题GSPO和DAPO有听说过吗？他们和GRPO有什么区别？
原题如何解决信用分配问题？token级别和seq级别的奖励有何不同？
原题除了人类反馈，我们还可以利用AI自身的反馈来做对齐，即RLAIF。请谈谈你对RLAIF的理解，它的潜力和风险分别是什么？
原题SFT 的 loss 如何只计算回答部分？(如何 ignore padding token?)
原题你对SFT的理解是什么？与预训练相比有什么差异？
原题SFT冷启动时数据集构造需要注意哪些因素？为什么要做数据清洗与均衡采样？
原题
暂无题目