深度学习基础汇编

题集来源：阿东玩 AI（Adong）收录项目：AgentGuide查看原题集

【MLP实现】手写MLP，用PyTorch实现，然后追问：如果要把这个MLP用在图像上，你怎么修改？「字节跳动、蚂蚁集团」
原题
关联题目用 PyTorch 实现前馈分类网络。模型基础与推理 / 模型架构与表示代码题进阶0篇相关面经
33
1. MoE相比Dense有什么好处？
2. 分别讲一下Dense模型和MoE模型以及二者的区别？做业务的时候，如何选择dense模型还是moe模型？
关联题目Dense 模型与 MoE 模型有什么区别？模型基础与推理 / 模型架构与表示比较选型进阶3篇相关面经
完整原题
【MoE与Dense对比】MoE与Dense对比： 1. MoE相比Dense有什么好处？ 2. 分别讲一下Dense模型和MoE模型以及二者的区别？做业务的时候，如何选择dense模型还是moe模型？「腾讯混元、蚂蚁集团」
原题
【MoE架构】解释MoE（Mixture of Experts）架构，包括其优缺点、与Dense模型的区别、路由机制（Router的设计）、负载均衡损失（Load Balancing Loss）的计算方式，以及它的特点和优势。「字节跳动、美团、蚂蚁集团、阿里巴巴」
原题
关联题目MoE 混合专家模型如何组织路由与专家计算？模型基础与推理 / 模型架构与表示原理机制进阶0篇相关面经关联题目MoE 负载均衡损失与专家路由塌缩有什么关系，如何稳定路由？模型基础与推理 / 模型架构与表示故障排查进阶1篇相关面经关联题目Dense 模型与 MoE 模型有什么区别？模型基础与推理 / 模型架构与表示比较选型进阶3篇相关面经
【nn.Module继承】继承 nn.Module 时为什么要调用 super()？自建模型继承什么类？「百度文心」
原题
关联题目如何使用 nn.Module 组织自定义网络层并管理状态？模型训练与对齐 / 训练框架、调参与排障操作实践进阶0篇相关面经
【RMSNorm】手写RMSNorm层。「美团」
原题
关联题目用 PyTorch 从零实现 RMSNorm。模型基础与推理 / 模型架构与表示代码题进阶0篇相关面经
【Sampled Softmax】介绍一下sampled softmax。「美团」
原题
关联题目InfoNCE 与 Sampled Softmax 的训练目标和采样处理有什么区别？模型基础与推理 / 机器学习与推荐系统比较选型进阶0篇相关面经
【Softmax数值稳定性】如果softmax的e次方超过float的值了怎么办？「腾讯混元」
原题
关联题目Softmax 如何利用平移不变性进行数值稳定计算？模型基础与推理 / 模型架构与表示原理机制进阶0篇相关面经
【ViT参数量计算】手撕:写一个计算ViT参数量的函数，自己定义输入(层数、纬度等)输出模型总参数量。「字节Seed」
原题
关联题目实现根据模型配置计算 ViT 参数量的函数。算法与编程题 / 并发、文件与工程编码代码题进阶0篇相关面经
【两层神经网络】手撕两层神经网络，要求自己定义参数矩阵实现前向传播和反向传播（自己求梯度）。「字节Seed、阿里巴巴」
原题
关联题目从零实现前馈神经网络及反向传播。模型基础与推理 / 机器学习与推荐系统代码题深入0篇相关面经
【二分类网络实现】手写一个二分类网络，用PyTorch实现。「美团」
原题
关联题目用 PyTorch 实现前馈分类网络。模型基础与推理 / 模型架构与表示代码题进阶0篇相关面经

题目目录

【MLP实现】手写MLP，用PyTorch实现，然后追问：如果要把这个MLP用在图像上，你怎么修改？ 「字节跳动、蚂蚁集团」

MoE相比Dense有什么好处？

分别讲一下Dense模型和MoE模型以及二者的区别？做业务的时候，如何选择dense模型还是moe模型？

【MoE架构】解释MoE（Mixture of Experts）架构，包括其优缺点、与Dense模型的区别、路由机制（Router的设计）、负载均衡损失（Load Balancing Loss）的计算方式，以及它的特点和优势。 「字节跳动、美团、蚂蚁集团、阿里巴巴」

【nn.Module继承】继承 nn.Module 时为什么要调用 super()？自建模型继承什么类？ 「百度文心」

【RMSNorm】手写RMSNorm层。 「美团」

【Sampled Softmax】介绍一下sampled softmax。 「美团」

【Softmax数值稳定性】如果softmax的e次方超过float的值了怎么办？ 「腾讯混元」

【ViT参数量计算】手撕:写一个计算ViT参数量的函数，自己定义输入(层数、纬度等)输出模型总参数量。 「字节Seed」

【两层神经网络】手撕两层神经网络，要求自己定义参数矩阵实现前向传播和反向传播（自己求梯度）。 「字节Seed、阿里巴巴」

【二分类网络实现】手写一个二分类网络，用PyTorch实现。 「美团」

【MLP实现】手写MLP，用PyTorch实现，然后追问：如果要把这个MLP用在图像上，你怎么修改？「字节跳动、蚂蚁集团」

【MoE架构】解释MoE（Mixture of Experts）架构，包括其优缺点、与Dense模型的区别、路由机制（Router的设计）、负载均衡损失（Load Balancing Loss）的计算方式，以及它的特点和优势。「字节跳动、美团、蚂蚁集团、阿里巴巴」

【nn.Module继承】继承 nn.Module 时为什么要调用 super()？自建模型继承什么类？「百度文心」

【RMSNorm】手写RMSNorm层。「美团」

【Sampled Softmax】介绍一下sampled softmax。「美团」

【Softmax数值稳定性】如果softmax的e次方超过float的值了怎么办？「腾讯混元」

【ViT参数量计算】手撕:写一个计算ViT参数量的函数，自己定义输入(层数、纬度等)输出模型总参数量。「字节Seed」

【两层神经网络】手撕两层神经网络，要求自己定义参数矩阵实现前向传播和反向传播（自己求梯度）。「字节Seed、阿里巴巴」

【二分类网络实现】手写一个二分类网络，用PyTorch实现。「美团」