华为
大模型算法工程师一面面经
完整信息
本篇目录
1. 简要介绍过往实习与项目经历
2. 在模型训练阶段，如果出现loss难以收敛，你会从哪些角度排查
3. Transformer基础原理是什么，时间复杂度如何计算，有哪些常用优化思路
4. 除MHA、MQA、GQA之外，你还了解哪些注意力变体，DeepSeek、Qwen采用的注意力方案有什么特点
5. FFN模块内部结构是怎样的，有哪些可替代的设计
6. 说说常见归一化方式以及各自作用
7. MoE的运行原理是什么，路由专家、共享专家的含义
8. 深度学习前向传播、反向传播以及参数更新的完整流程
9. LoRA低秩适配的底层原理
10. PPO、GRPO、DPO三者的核心逻辑以及差异对比
11. GRPO去掉Critic网络的原因
12. 大模型的数据清洗流程、数据集搭建思路
13. 手撕：三数之和；进阶变体：寻找和最接近0的三元组
本篇目录
当前问题0113
- 01
简要介绍过往实习与项目经历
- 02
在模型训练阶段，如果出现loss难以收敛，你会从哪些角度排查
- 03
Transformer基础原理是什么，时间复杂度如何计算，有哪些常用优化思路
- 04
除MHA、MQA、GQA之外，你还了解哪些注意力变体，DeepSeek、Qwen采用的注意力方案有什么特点
- 05
FFN模块内部结构是怎样的，有哪些可替代的设计
- 06
说说常见归一化方式以及各自作用
- 07
MoE的运行原理是什么，路由专家、共享专家的含义
- 08
深度学习前向传播、反向传播以及参数更新的完整流程
- 09
LoRA低秩适配的底层原理
- 10
PPO、GRPO、DPO三者的核心逻辑以及差异对比
- 11
GRPO去掉Critic网络的原因
- 12
大模型的数据清洗流程、数据集搭建思路
- 13
手撕：三数之和；进阶变体：寻找和最接近0的三元组