后训练:微调与对齐

题集来源:Rocky Ding(WeThinkIn)收录项目:AIGC-Interview-Book查看原题集

题目目录

26 道原题
  1. 为什么 GRPO 要对同一问题采样多个回答并做组内奖励归一化?这对大语言模型推理能力训练有什么帮助?

    原题
  2. 为什么 DAPO 被认为是对 GRPO 的改进?它在 clip、采样、loss 和训练稳定性上做了哪些优化?

    原题
  3. VAPO 等新方法主要解决什么问题?它们如何改进长推理强化学习训练?

    原题
  4. 为什么不能只用 reward score 评估大语言模型偏好优化算法?PPO、DPO、GRPO 等方法应如何评估?

    原题
  5. 如何选择大语言模型微调框架?

    原题
  6. 大语言模型时代常见微调和后训练框架各有什么特点?

    原题