百度

后训练算法一面、二面、三面面经

完整信息

14 条问法 · 17 道题

本篇目录
一面 1. 详细解释困惑度PPL的物理意义;拓展说明模型预训练阶段常见的概率类评估指标与计算公式。 2. 阐述 Mid-Train 中间训练阶段的核心作用,对比该阶段与预训练、微调阶段在参数配置、训练策略上的差异。 3. 结合个人论文项目,说明冷启动模块与强化学习RL流程之间的过渡设计,拆解整体思路与解决的痛点。 4. 对比解析 Tag-level 优化方案与 DAPO 算法的核心差异、适用场景优劣。 5.手撕代码:实现序列重要性采样、Token层级重要性采样算法逻辑 二面 1. 多模态长时序数据的采集与构建方案;ViT视觉编码器与大语言模型LM的训练方式,是联合训练还是分步训练。 2. 分别说明 ViT、LLM 的基础损失函数;多模态大模型训练过程中,视觉编码器是否存在独立损失函数,具体是什么。 3. 拆解 ViT 完整图像特征计算流程,介绍当前主流的视觉-文本对齐训练策略。 4. 讲解 MOE 混合专家模型核心原理,说明项目中路由机制的配置方式,以及专属专家的设计逻辑。 5. 项目 MOE 模块所使用的 RL 强化学习算法,详细阐述算法底层原理。 6. 谈谈对 MOE 路由设计的理解;若路由分配未命中目标专家,如何设计惩罚约束策略。 7. 辨析「单专家对应单一特征场景」的MOE架构,与流水线Pipeline结构的本质区别。 8.手撕代码:实现/推导 ViT 相关 Loss 计算逻辑 三面 1. 个人项目PPT深度复盘提问 2. 谈谈大模型 Mid-Train 训练范式的性能瓶颈与能力上限,以及对大模型后训练整体技术体系的理解 3. 职业倾向选择:偏向业务落地or算法科研 4. 无算法手撕环节
本篇目录
  1. 01
    详细解释困惑度PPL的物理意义;拓展说明模型预训练阶段常见的概率类评估指标与计算公式。
  2. 02
  3. 03
    结合个人论文项目,说明冷启动模块与强化学习RL流程之间的过渡设计,拆解整体思路与解决的痛点。
  4. 04
    对比解析 Tag-level 优化方案与 DAPO 算法的核心差异、适用场景优劣。
  5. 05
  6. 06
  7. 07
    分别说明 ViT、LLM 的基础损失函数;多模态大模型训练过程中,视觉编码器是否存在独立损失函数,具体是什么。
  8. 08
  9. 09
  10. 10
  11. 11
  12. 12
  13. 13
  14. 14

同作者面经

展开其余 21 篇收起其余 21 篇

相关公司