推荐大模型算法岗一面、二面面经

1️⃣一面 1. 简要介绍你的论文项目 2. BatchNorm 和 LayerNorm 有哪些区别 3. Transformer 中改用 BatchNorm，为什么训练、推理结果会不一致 4. Softmax 发生数值溢出，该如何处理 5. Pre-Norm 和 Post-Norm 的区别 6. Attention 为什么要除以 \sqrt{d_k}？不除会出现什么现象，对Softmax输出和梯度有什么影响 7. 手撕算法：最长有效括号 2️⃣二面 1. MoE 和多头注意力（Multi-Head Attention）的区别 2. Sparse MoE 的“稀疏”体现在什么地方 3. Router、Top-K Expert 的工作流程 4. 什么是 Expert Collapse（专家坍缩） 5. MoE 为什么要做专家负载均衡 6. 给 Attention 加上 Gate 机制，和 MoE 还有什么本质差别 7. 模型效果提升时，如何排除参数量变大等无关变量的影响 8. 消融实验里，怎么证明性能提升来自新增模块 9. 手撕算法：编辑距离