深度学习精华·网络架构
为什么解码器需要掩码自注意力？请解释 Causal Mask 和 Padding Mask 的作用及实现方式。
原题为什么纯解码器架构在 AIGC 时代（如 LLM）成为绝对主流？Encoder-only 和 Encoder-Decoder 架构分别适用于什么场景？
原题Transformer 中为什么要使用残差连接 + 层归一化？Pre-LN（前置）相比 Post-LN（后置）有什么区别？为什么大模型普遍用 Pre-LN？
原题Transformer 的 FFN（前馈网络）起什么作用？为什么大模型常用 SwiGLU 替代传统的 ReLU/GELU？
原题详细描述标准自注意力的完整计算流程（从输入 X 到输出），并解释 Q、K、V 的含义以及“为什么需要区分三者”。
原题为什么自注意力计算中要除以 $\sqrt{d_k}$（缩放因子）？如果不除以会发生什么？（考察 Softmax 饱和与梯度）。
原题解释多头注意力（MHA）的核心思想，并介绍 MQA（多查询）和 GQA（分组查询）的区别及适用场景（KV Cache 显存优化）。
原题自注意力机制的 $O(N^2)$ 复杂度带来了哪些长序列痛点？有哪些主流的算法级解决方案（如稀疏注意力、线性注意力）？
原题批量推理时的计算瓶颈在哪里？
请解释 KV Cache 的原理及其加速机制，
并介绍 FlashAttention 的核心优化思路（IO 感知）。
原题完整原题
面试问题：批量推理时的计算瓶颈在哪里？请解释 KV Cache 的原理及其加速机制，并介绍 FlashAttention 的核心优化思路（IO 感知）。
为什么 Transformer 需要位置编码？位置编码为什么要和词嵌入相加而不是拼接？
原题
暂无题目