字节跳动
推荐大模型算法岗一面、二面面经
完整信息
本篇目录
1️⃣一面
1. 简要介绍你的论文项目
2. BatchNorm 和 LayerNorm 有哪些区别
3. Transformer 中改用 BatchNorm，为什么训练、推理结果会不一致
4. Softmax 发生数值溢出，该如何处理
5. Pre-Norm 和 Post-Norm 的区别
6. Attention 为什么要除以 \sqrt{d_k}？不除会出现什么现象，对Softmax输出和梯度有什么影响
7. 手撕算法：最长有效括号
2️⃣二面
1. MoE 和多头注意力（Multi-Head Attention）的区别
2. Sparse MoE 的“稀疏”体现在什么地方
3. Router、Top-K Expert 的工作流程
4. 什么是 Expert Collapse（专家坍缩）
5. MoE 为什么要做专家负载均衡
6. 给 Attention 加上 Gate 机制，和 MoE 还有什么本质差别
7. 模型效果提升时，如何排除参数量变大等无关变量的影响
8. 消融实验里，怎么证明性能提升来自新增模块
9. 手撕算法：编辑距离
本篇目录
当前问题0116
- 01
简要介绍你的论文项目
- 02
BatchNorm 和 LayerNorm 有哪些区别
- 03
Transformer 中改用 BatchNorm，为什么训练、推理结果会不一致
- 04
Softmax 发生数值溢出，该如何处理
- 05
Pre-Norm 和 Post-Norm 的区别
- 06
Attention 为什么要除以 \sqrt{d_k}？不除会出现什么现象，对Softmax输出和梯度有什么影响
- 07
手撕算法：最长有效括号
- 08
MoE 和多头注意力（Multi-Head Attention）的区别
- 09
Sparse MoE 的“稀疏”体现在什么地方
- 10
Router、Top-K Expert 的工作流程
- 11
什么是 Expert Collapse（专家坍缩）
- 12
MoE 为什么要做专家负载均衡
- 13
给 Attention 加上 Gate 机制，和 MoE 还有什么本质差别
- 14
模型效果提升时，如何排除参数量变大等无关变量的影响
- 15
消融实验里，怎么证明性能提升来自新增模块
- 16
手撕算法：编辑距离