On-Policy Distillation 如何利用学生采样和教师反馈训练，有哪些条件？

PPO与GRPO对比 「京东、字节跳动、百度、百度文心、腾讯、腾讯混元、蚂蚁集团、阿里巴巴」

• On-policy蒸馏和GRPO比，什么时候用蒸馏更合适？
• SFT、RL、OPD区别和使用场景？

• on-policy蒸馏、软蒸馏和我用的方法之间有什么区别和联系？ 「百度」

「字节跳动、腾讯」

• 了解Online Distillation（OPD，On-Policy蒸馏）吗？请说明其loss函数、框架设置、训练数据设置，以及为什么训练速度很快？

• 在线on-policy蒸馏和强化学习有什么区别，哪种更容易突破教师模型性能上限？

• 选择OPD的动机以及数据筛选时的策略，为什么不使用学生错误的轨迹？

• DeepSeek-V4大量采用在线策略蒸馏、替代纯RL迭代训练的设计考量

• DeepSeek-V4的OPD在线策略蒸馏，与常规知识蒸馏的本质区别

• OPD（On-Policy Distillation）是什么？与强化学习有什么关系，对教师模型有什么要求？