深度学习基础汇编
【归一化方法概述】Normalization有哪些，有什么作用？ 「字节Seed」
原题CNN和Transformer分别使用哪种归一化方式？
LN和残差连接作用，
Transformer能用BN吗？图像领域和文本领域归一化不同，有什么区别？
原题完整原题
【归一化领域差异与选择】CNN和Transformer分别使用哪种归一化方式？LN和残差连接作用，Transformer能用BN吗？图像领域和文本领域归一化不同，有什么区别？ 「京东、字节跳动、百度、美团、阿里巴巴」
【激活函数与梯度问题】激活函数与梯度问题：ReLU为什么能缓解梯度消失？介绍常见的激活函数，sigmoid为什么会导致梯度消失或梯度爆炸？你知道哪些LLM常用的激活函数？ 「百度、美团、阿里巴巴」
原题原题未说明“列归一化”及“插在 LayerNorm 之后”所指对象或具体操作。
归一化层实现与对比：
手撕BatchNorm（训练/推理），包括累积均值和方差的计算；TensorFlow中如何实现BN？
手撕LayerNorm（公式与实现）；
手撕RMSNorm；
手撕Softmax。
展开其余 6 个小问
BN和Dropout在训练和推理时的差异？CNN中BN训练推理计算差异？
LayerNorm与BatchNorm原理、区别、使用场景？为什么Transformer和LLM使用LN而不用BN？从NLP/CV任务特性、序列长度可变性、训练稳定性解释。
NLP中句子长度不一致用BN的后果？
Pre-LN与Post-LN区别？对训练稳定性、收敛速度的影响？推荐任务更适合哪种？
Transformer中层归一化与列归一化区别？为什么不能插在LayerNorm之后？
LLMs各模型分别用了哪种Layer normalization？
原题完整原题
【归一化与激活】归一化层实现与对比： 1. 手撕BatchNorm（训练/推理），包括累积均值和方差的计算；TensorFlow中如何实现BN？ 2. 手撕LayerNorm（公式与实现）；手撕RMSNorm；手撕Softmax。 3. BN和Dropout在训练和推理时的差异？CNN中BN训练推理计算差异？ 4. LayerNorm与BatchNorm原理、区别、使用场景？为什么Transformer和LLM使用LN而不用BN？从NLP/CV任务特性、序列长度可变性、训练稳定性解释。 5. NLP中句子长度不一致用BN的后果？ 6. Pre-LN与Post-LN区别？对训练稳定性、收敛速度的影响？推荐任务更适合哪种？ 7. Transformer中层归一化与列归一化区别？为什么不能插在LayerNorm之后？ 8. LLMs各模型分别用了哪种Layer normalization？ 「京东、字节Seed、字节跳动、百度、美团、腾讯、腾讯混元、蚂蚁集团、阿里巴巴、阿里通义」
【DeepNorm】请阐述DeepNorm的思路，并写出其代码实现。要求：解释DeepNorm的原理、公式、与Post-LN的关系，以及如何提升训练稳定性。 「腾讯混元」
原题【Online Softmax】手撕online softmax。要求：实现online softmax算法，解释其原理和优势（如数值稳定性、减少内存访问）。 「字节跳动」
原题【RMSNorm与LayerNorm对比】RMSNorm与LayerNorm的主要区别是什么？为什么大模型（如GPT）更倾向于使用RMSNorm？请详细介绍两种实现形式（普通Transformer和大模型用的），并说明RMSNorm相比LayerNorm的优化点和提升原因。 「字节跳动、百度、美团、腾讯混元」
原题实现RMSNorm并解释/
实现LayerNorm并解释/
实现BatchNorm并解释/
实现Decoder block；
代码题：手撕layernormalization；
实现RMSNorm。要求：写出代码并解释原理，包括公式、参数、计算步骤。
原题完整原题
【归一化代码实现】实现RMSNorm并解释/实现LayerNorm并解释/实现BatchNorm并解释/实现Decoder block；代码题：手撕layernormalization；实现RMSNorm。要求：写出代码并解释原理，包括公式、参数、计算步骤。 「字节跳动、百度」
【归一化位置设计】现在常见的norm位置设计有什么差异，这些差异会对训练稳定性和效果带来什么影响？请比较Pre-LN、Post-LN、Sandwich-LN等不同位置设计的优缺点，并说明在Transformer中如何选择。 「字节跳动」
原题【归一化梯度】易混淆点:LayerNorm和BatchNorm在训练时的梯度计算区别? 请详细分析两者在梯度计算上的差异，包括对均值和方差求导的过程，以及这些差异对训练稳定性和效果的影响。 「阿里巴巴」
原题
暂无题目