为什么神经网络需要适当初始化，常见方法如何选择？

参数初始化与损失函数

• 参数都是0会发生什么，1行不行，参数为1的模型跟正常模型训练效果什么区别

• 【参数初始化重要性】为什么参数初始化方式不一样？参数初始化为什么重要？请解释参数初始化的重要性。 「京东、字节跳动」

• 【权重大小影响】权重过大或过小分别会导致什么现象？请分析权重大小的影响。 「字节跳动」

过拟合与欠拟合 另外，请说明BN和LN的区别及适用场景，以及梯度爆炸问题、残差连接和模型参数初始化的相关内容。

• 模型参数初始化的相关内容。

• 【Embedding初始化】新embedding怎么初始化？ 「蚂蚁集团」

• 介绍一下Xavier/He初始化的核心思想

• 正交初始化的核心原理是什么，在扩散模型/Transformer的哪些场景中常用？

• 扩散模型的噪声预测头为什么常用小方差初始化？初始化过大会导致什么问题？