腾讯
大模型算法实习生面经
完整信息
本篇目录
1. 介绍论文，问了很多强化学习算法（GRPO，PPO，reward model)，介绍马尔可夫决策过程。
2. bf16、fp16和fp32，并进行计算。
3. lora微调的细节，量化相关知识
然后开始漫长的手撕过程🥵
4. 手撕ppo
5. 算马尔可夫决策过程的γ阈值，我感觉是个无穷级数？
6. 算模型sft的参数量大小及显卡利用率
7. 是否重合链表（hot100）
8. 如何使得一个输入向量x在经过一个或多个全连接层后，其输出向量y所在子空间基底尽可能接近标准正交基
9. 和使用强化学习训练大模型相比，使用强化学习训练小模型需要做出哪些改变
本篇目录
当前问题0108
- 01
介绍论文，问了很多强化学习算法（GRPO，PPO，reward model)，介绍马尔可夫决策过程。
- 02
bf16、fp16和fp32，并进行计算。
- 03
lora微调的细节，量化相关知识
- 04
手撕ppo
- 05
算模型sft的参数量大小及显卡利用率
- 06
是否重合链表（hot100）
- 07
如何使得一个输入向量x在经过一个或多个全连接层后，其输出向量y所在子空间基底尽可能接近标准正交基
- 08
和使用强化学习训练大模型相比，使用强化学习训练小模型需要做出哪些改变