真面经，好答案。面试之前，先来面栈。

后训练核心函数练习

题集来源：阿东玩 AI（Adong）收录项目：AgentGuide查看原题集

题目目录

7 道原题

  1. pairwise_rm_loss

    原题

    实现范围由函数名及表格关键词限定。

    关联题目实现 Bradley–Terry 成对奖励模型损失。模型训练与对齐 / 偏好对齐代码题进阶0篇相关面经

  2. ppo_clip_loss

    原题
    关联题目手写 PPO Loss。模型训练与对齐 / 强化学习与奖励代码题深入2篇相关面经

  3. compute_gae

    原题
    关联题目实现广义优势估计 GAE。算法与编程题 / 并发、文件与工程编码代码题进阶0篇相关面经

  4. dpo_loss

    原题
    关联题目实现数值稳定的 DPO 偏好损失。模型训练与对齐 / 偏好对齐代码题进阶0篇相关面经

  5. grpo_loss

    原题
    关联题目实现 GRPO 的组内优势与策略损失。模型训练与对齐 / 强化学习与奖励代码题深入0篇相关面经

  6. lora_forward

    原题
    关联题目用 Python 和 PyTorch 实现 LoRA 低秩适配器。模型训练与对齐 / 参数高效微调代码题深入0篇相关面经

  7. kv_cache_estimator

    原题
    关联题目实现 KV Cache 显存估算函数。算法与编程题 / 并发、文件与工程编码代码题进阶0篇相关面经