深度学习精华·网络架构
什么是权重初始化？核心目的是什么？
原题常见的初始化方法有哪些？
原题为什么不能用全0初始化，不合理初始化会导致什么问题？
原题介绍一下Xavier/He初始化的核心思想
原题正交初始化的核心原理是什么，在扩散模型/Transformer的哪些场景中常用？
原题扩散模型的噪声预测头为什么常用小方差初始化？初始化过大会导致什么问题？
原题介绍一下全连接层的原理
原题全连接层和 1×1 卷积有什么区别与联系，分别在什么场景下使用？
原题扩散模型中的时间嵌入 MLP 为什么用全连接层实现，有什么优势？
原题什么是归一化，常用的归一化方法都有哪些？
原题归一化在扩散模型中的具体作用是什么？
原题为什么生成类模型普遍不使用 BatchNorm，会带来什么问题？
原题介绍一下激活函数的定义及原理。
原题介绍一下激活函数有哪几类，常用经典激活函数有哪些？
原题有哪些激活函数在AIGC时代取得了大量的应用，它们有什么优势？
原题激活函数在使用中有哪些典型的问题？
原题请详细介绍卷积操作及其核心原理
原题介绍一下卷积操作中的卷积核、步幅、填充、感受野的定义及作用
原题常用的卷积层有哪些？请分别详细介绍其结构、原理及适用场景
原题卷积和Transformer在AIGC中各自的优势和适用场景是什么？
原题卷积核的大小、数量应如何选择？
原题什么是池化层？介绍一下其原理
原题常用的池化层有哪些？请分别介绍其结构、计算方式及适用场景？
原题池化操作中，步幅和池化核大小应如何选择？
原题介绍ResNet网络及其核心亮点
原题介绍U-Net网络及其核心亮点
原题Transformer 的提出背景是什么？它为了解决 RNN/LSTM 的哪些核心缺陷（如长距离依赖、梯度问题、无法并行）而设计？
原题相比 CNN 处理序列任务，Transformer 的核心优势和劣势分别是什么？为什么它能实现序列的并行计算？
原题自注意力的全局建模能力，相比 RNN 的时序建模和 CNN 的局部建模，在生成类任务上带来了什么本质差异？
原题请完整介绍 Transformer 的整体架构，简述 Encoder 和 Decoder 的核心区别（输入、注意力类型、输出用途）。
原题为什么解码器需要掩码自注意力？请解释 Causal Mask 和 Padding Mask 的作用及实现方式。
原题为什么纯解码器架构在 AIGC 时代（如 LLM）成为绝对主流？Encoder-only 和 Encoder-Decoder 架构分别适用于什么场景？
原题Transformer 中为什么要使用残差连接 + 层归一化？Pre-LN（前置）相比 Post-LN（后置）有什么区别？为什么大模型普遍用 Pre-LN？
原题Transformer 的 FFN（前馈网络）起什么作用？为什么大模型常用 SwiGLU 替代传统的 ReLU/GELU？
原题详细描述标准自注意力的完整计算流程（从输入 X 到输出），并解释 Q、K、V 的含义以及“为什么需要区分三者”。
原题为什么自注意力计算中要除以 $\sqrt{d_k}$（缩放因子）？如果不除以会发生什么？（考察 Softmax 饱和与梯度）。
原题解释多头注意力（MHA）的核心思想，并介绍 MQA（多查询）和 GQA（分组查询）的区别及适用场景（KV Cache 显存优化）。
原题自注意力机制的 $O(N^2)$ 复杂度带来了哪些长序列痛点？有哪些主流的算法级解决方案（如稀疏注意力、线性注意力）？
原题批量推理时的计算瓶颈在哪里？
请解释 KV Cache 的原理及其加速机制，
并介绍 FlashAttention 的核心优化思路（IO 感知）。
原题完整原题
面试问题：批量推理时的计算瓶颈在哪里？请解释 KV Cache 的原理及其加速机制，并介绍 FlashAttention 的核心优化思路（IO 感知）。
为什么 Transformer 需要位置编码？位置编码为什么要和词嵌入相加而不是拼接？
原题请简述正弦余弦位置编码的原理，并推导说明其为何能表示相对位置关系。
原题为什么现代大模型普遍采用 RoPE（旋转位置编码）？它的核心原理和优势是什么？
原题解释 RoPE 的外推问题。Base 参数的作用是什么？有哪些常见的外推解决方案（如 NTK-aware, YaRN）？
原题RoPE 的高低频旋转圈数差异对应什么类型的依赖建模？ALiBi 位置编码与 RoPE 相比有什么优缺点？
原题在模型组件层面，LLM 常用 RMSNorm 和 SwiGLU 替代传统组件，原因是什么？
原题什么是 MoE（混合专家模型）？它是如何在不增加推理计算量的前提下扩大模型参数量的？
原题在多模态大模型中，Transformer 是如何适配不同模态的？扩散模型中的 Transformer（DiT）有何特点？
原题大模型训练中，Transformer 的主要计算瓶颈在哪里？有哪些主流的并行训练方案（如 3D 并行）？
原题在推理阶段，有哪些关键的系统级优化技术？
原题为什么 Transformer 能支撑模型规模不断放大，成为 AIGC 时代的基石架构？未来的演进方向可能是什么？
原题介绍一下图神经网络（GNN）的原理
原题GNN与CNN、RNN的核心区别是什么？为什么GNN更适合处理图数据？
原题
暂无题目