理论基础面试题
微调时的训练数据是怎么构建的？如何保证样本多样性和质量？
原题SFT+DPO训练怎么组织这部分数据的？是自己构造还是用公开数据？
原题SFT 的数据集是越大越好吗？会存在scaling law 吗？
原题SFT使用的数据可能和原始模型预训练时的数据分布有较大区别，怎么解决？
原题SFT和强化学习各自有什么优缺点，分别适用于什么场景？
原题什么场景下用SFT，什么场景下用RL？
原题PPO/GRPO 微调后，如何防止模型在分布外(OOD)问题上性能崩塌？
原题是否自己实现过 RLHF 流程？不用框架能否手写 PPO 核心逻辑？
原题为什么PPO要用value baseline和GAE？它们如何让训练更稳定？
原题为什么GRPO在训练MOE时会出问题？原因是啥，怎么改进策略？
原题
暂无题目