深度学习基础汇编

题集来源：阿东玩 AI（Adong）收录项目：AgentGuide查看原题集

【非线性来源】非线性由什么来提供？「字节Seed」
原题
关联题目大语言模型常用哪些激活函数，为什么采用这些函数？模型基础与推理 / 模型架构与表示原理机制进阶1篇相关面经
【LoRA实现】手撕 LoRA，现场发邮箱题目链接，和面试是两个页面。「阿里通义」
原题
关联题目用 Python 和 PyTorch 实现 LoRA 低秩适配器。模型训练与对齐 / 参数高效微调代码题深入0篇相关面经
【MMoE专家趋同】如何解决MMoE输出特征一样，专家的参数最终会趋于一致的现象？「百度」
原题
关联题目MMoE 如何通过多门控专家结构进行多任务学习？模型基础与推理 / 机器学习与推荐系统原理机制进阶0篇相关面经
【MoE实现】手撕MoE。「字节跳动」
原题
关联题目实现 Top-K 路由的 Mixture of Experts 层。模型基础与推理 / 模型架构与表示代码题深入0篇相关面经
【MoE极化】多专家网络极化问题。「阿里巴巴」
原题
“极化”未给具体观测或指标，仅关联已明确的多专家路由/失衡诊断。
关联题目MoE 模型训练不稳定时，如何定位并改善？模型训练与对齐 / 训练框架、调参与排障方案设计进阶0篇相关面经
【Online Softmax】请解释Online Softmax与普通Softmax的区别、应用原因，并说明其数值稳定性如何处理，同时手撕实现Online Softmax。「字节跳动、阿里巴巴」
原题
关联题目Online Softmax 如何在流式或分块输入上保持数值稳定？模型基础与推理 / 机器学习与推荐系统原理机制进阶0篇相关面经关联题目实现数值稳定的 Online Softmax。算法与编程题 / 并发、文件与工程编码代码题进阶0篇相关面经
【RankMixer动机】为什么要做rankmixer？「美团」
原题
关联题目RankMixer 如何组织特征 Token 交互与逐 Token 前馈，与注意力路线有何取舍？模型基础与推理 / 机器学习与推荐系统原理机制进阶0篇相关面经
【Softmax C++实现】实现Softmax的CPU C++实现，模版「百度」
原题
关联题目实现 Softmax。模型基础与推理 / 模型架构与表示代码题基础1篇相关面经
【低秩分解】你认为什么情况下这个矩阵适合用低秩分解？「京东」
原题
关联题目低秩近似如何用较少自由度保留主要矩阵结构？模型基础与推理 / 机器学习与推荐系统原理机制进阶0篇相关面经
78
1. 参数都是0会发生什么，1行不行，参数为1的模型跟正常模型训练效果什么区别
  关联题目为什么神经网络需要适当初始化，常见方法如何选择？模型训练与对齐 / 训练框架、调参与排障原理机制进阶0篇相关面经
2. 针对这个场景介绍你知道的优化器，
  关联题目大模型训练常用哪些优化器，AdamW 与 Adam 有什么区别？模型训练与对齐 / 训练框架、调参与排障比较选型进阶0篇相关面经
3. 损失函数会选择什么，为什么选择BCE，为什么不能用MSE
  关联题目分类中 CE 或 BCE 为什么通常优于 MSE？模型基础与推理 / 机器学习与推荐系统比较选型进阶2篇相关面经
4. code:最大乘积子数组？
  关联题目求最大连续子数组乘积，并将额外空间压缩到 O(1)。算法与编程题 / 动态规划、贪心与回溯代码题进阶0篇相关面经
完整原题
【参数初始化与损失函数】参数都是0会发生什么，1行不行，参数为1的模型跟正常模型训练效果什么区别针对这个场景介绍你知道的优化器，损失函数会选择什么，为什么选择BCE，为什么不能用MSE code:最大乘积子数组？「蚂蚁集团」
原题

题目目录

【非线性来源】非线性由什么来提供？ 「字节Seed」

【LoRA实现】手撕 LoRA，现场发邮箱题目链接，和面试是两个页面。 「阿里通义」

【MMoE专家趋同】如何解决MMoE输出特征一样，专家的参数最终会趋于一致的现象？ 「百度」

【MoE实现】手撕MoE。 「字节跳动」

【MoE极化】多专家网络极化问题。 「阿里巴巴」

【Online Softmax】请解释Online Softmax与普通Softmax的区别、应用原因，并说明其数值稳定性如何处理，同时手撕实现Online Softmax。 「字节跳动、阿里巴巴」

【RankMixer动机】为什么要做rankmixer？ 「美团」

【Softmax C++实现】实现Softmax的CPU C++实现，模版 「百度」

【低秩分解】你认为什么情况下这个矩阵适合用低秩分解？ 「京东」

参数都是0会发生什么，1行不行，参数为1的模型跟正常模型训练效果什么区别

针对这个场景介绍你知道的优化器，

损失函数会选择什么，为什么选择BCE，为什么不能用MSE

code:最大乘积子数组？

【非线性来源】非线性由什么来提供？「字节Seed」

【LoRA实现】手撕 LoRA，现场发邮箱题目链接，和面试是两个页面。「阿里通义」

【MMoE专家趋同】如何解决MMoE输出特征一样，专家的参数最终会趋于一致的现象？「百度」

【MoE实现】手撕MoE。「字节跳动」

【MoE极化】多专家网络极化问题。「阿里巴巴」

【Online Softmax】请解释Online Softmax与普通Softmax的区别、应用原因，并说明其数值稳定性如何处理，同时手撕实现Online Softmax。「字节跳动、阿里巴巴」

【RankMixer动机】为什么要做rankmixer？「美团」

【Softmax C++实现】实现Softmax的CPU C++实现，模版「百度」

【低秩分解】你认为什么情况下这个矩阵适合用低秩分解？「京东」