深度网络架构
卷积在CNN中的核心作用是什么？
原题卷积操作的数学定义是什么？
原题CNN中的卷积与传统信号处理中的卷积有何区别？
原题卷积操作如何实现局部连接特性？
原题权值共享在卷积操作中是如何体现的？
原题局部连接和权值共享对CNN的性能有什么影响？
原题卷积操作输出特征图尺寸的计算公式是什么？
原题什么是步幅（Stride），步幅增大对输出特征图有什么影响？
原题什么是填充（Padding），填充的主要目的是什么？
原题常见的Padding模式有哪些，它们的区别是什么？
原题卷积操作中为什么通常使用奇数尺寸的卷积核？
原题3×3卷积核相比1×1、5×5卷积核有什么优势？
原题卷积层的感受野是什么意思，如何计算？
原题感受野的大小对CNN特征提取有什么影响？
原题什么是互相关（Cross-Correlation），它与卷积的关系是什么？
原题CNN训练中实际使用的是卷积还是互相关，为什么？
原题多通道输入/输出时，卷积操作是如何进行的？
原题卷积操作的计算复杂度与哪些因素有关，如何降低？
原题卷积操作对图像的平移不变性有什么贡献？
原题卷积的稀疏交互特性及其对泛化能力的影响？
原题卷积层可以学习到哪些类型的特征，深浅层有何区别？
原题如果输入通道数为3，输出通道数为64，需要多少个卷积核？
原题卷积操作的线性特性，结合激活函数后有何变化？
原题卷积层的输出特征图数量与模型表达能力的关系？
原题卷积操作在处理高分辨率图像时会面临什么挑战？
原题卷积核的基本组成部分有哪些？
原题卷积核的深度与输入输出通道数的关系是什么？
原题卷积核的大小选择需要考虑哪些因素？
原题为什么 CNN 中很少使用大于 7×7 的卷积核？
原题1×1 卷积核的主要作用是什么？
原题使用 1×1 卷积核如何实现通道数的调整？
原题卷积层的参数数量如何计算？
原题偏置项是否计入卷积层参数，如何计算？
原题Padding、Stride 会影响卷积层参数数量吗？
原题为什么卷积核不能全部初始化为 0 或相同值？
原题He 初始化和 Xavier 初始化有什么区别？
原题分组卷积的卷积核如何设计？
原题深度卷积的参数数量与普通卷积有何差异？
原题两个 3×3 堆叠感受野等于一个 5×5 吗？为什么更优？
原题卷积核剪枝是什么？依据是什么？
原题卷积核量化是什么？对部署有什么影响？
原题轻量级网络在卷积核设计上有什么特点？
原题ViT-CNN 混合模型中卷积核的作用发生了什么变化？
原题转置卷积与双线性插值等上采样方式有什么区别？
原题空洞卷积与多尺度池化在扩大感受野上有什么差异？
原题变形卷积是否会增加模型的计算复杂度？
原题不同卷积类型组合使用有什么效果？
原题轻量级网络中常用的卷积组合策略有哪些？
原题未来卷积的创新方向可能是什么？
原题大模型时代卷积层会被完全取代吗，为什么？
原题什么是有效感受野？
原题什么是转置卷积的棋盘效应？
原题什么是 3D 卷积？
原题卷积层的时间复杂度与空间复杂度如何分析？
原题AIGC 时代一共有多少种主流卷积？
原题什么是深度可分离卷积（depthwise-separable-convolution）？
原题深度可分离卷积具体分为哪两个步骤，各自的操作过程是怎样的？
原题深度卷积（Depthwise Convolution）与逐点卷积（Pointwise Convolution）的核心区别是什么？
原题深度可分离卷积与普通卷积的参数数量比是多少，如何推导？
原题深度可分离卷积是如何减少计算量的，计算量降低比例如何计算？
原题深度可分离卷积的优点和缺点分别是什么，2026年有哪些优化方案？
原题深度可分离卷积在主流网络中具体有哪些应用，不同网络中的改进点是什么？
原题为什么深度可分离卷积更适合移动端/端侧部署，核心优势是什么？
原题深度可分离卷积在训练时容易出现什么问题，如何解决？
原题分组深度可分离卷积（Grouped Depthwise Separable Convolution）是什么，与普通深度可分离卷积有何区别？
原题此处“分组深度可分离卷积”指对逐点通道混合施加分组。
池化操作的核心目的是什么？
原题池化层在深度学习模型中主要解决什么问题？
原题池化操作为什么能提高模型的平移不变性？
原题池化层是否会改变特征图的通道数？
原题池化操作是否需要训练参数？
原题池化层能否缓解过拟合，为什么？
原题最大池化与平均池化在计算上的主要区别是什么？
原题什么是全局平均池化（GAP），它在网络结构设计中的优势是什么？
原题池化层的核心参数有哪些？
原题如何计算池化后输出特征图的大小？
原题为什么池化操作通常在卷积层之后使用？
原题池化原理与下采样有什么区别和联系？
原题最大池化在反向传播时梯度是如何分配的？
原题池化操作对小目标检测任务有什么影响，该如何优化？
原题当前轻量化深度学习网络中，传统池化层的使用趋势是什么？
原题Transformer为何使用多头注意力机制？（为什么不使用一个头？）
原题Transformer为什么Q和K使用不同的权重矩阵生成，为何不能使用同一个值进行自身的点乘？
原题Transformer计算attention的时候为何选择点乘而不是加法？两者计算复杂度和效果上有什么区别？
原题为什么在进行softmax之前需要对attention进行scaled（为什么除以dk的平方根），并使用公式推导进行讲解？
原题在计算attention score的时候如何对padding做mask操作？
原题为什么在进行多头注意力的时候需要对每个head进行降维？
原题大概讲一下Transformer的Encoder模块？
原题为何在获取输入词向量之后需要对矩阵乘以 embedding size 的开方？意义是什么？
原题简单介绍一下Transformer的位置编码？有什么意义和优缺点？
原题你还了解哪些关于位置编码的技术，各自的优缺点是什么？
原题简单讲一下Transformer中的残差结构以及意义？
原题为什么Transformer块使用 LayerNorm 而不是 BatchNorm？LayerNorm 在 Transformer 的位置是哪里？
原题简要讲一下BatchNorm技术，以及它的优缺点？
原题简单描述一下Transformer中的前馈神经网络？使用了什么激活函数？相关优缺点？
原题Encoder端和Decoder端是如何进行交互的？（可结合seq2seq的attention知识说明）
原题Decoder阶段的多头自注意力和Encoder的多头自注意力有什么区别？（为什么Decoder自注意力需要进行 sequence mask）
原题Transformer的并行化体现在哪个地方？Decoder端可以做并行化吗？
原题简单描述一下wordpiece model 和 byte pair encoding，有实际应用过吗？
原题Transformer训练的时候学习率是如何设定的？
Dropout是如何设定的，位置在哪里？Dropout 在测试时需要有什么注意事项？
原题完整原题
19. Transformer训练的时候学习率是如何设定的？Dropout是如何设定的，位置在哪里？Dropout 在测试时需要有什么注意事项？
BERT的mask为何不学习Transformer在attention处进行屏蔽score的技巧？
原题此处的 BERT mask 指 MLM 输入替换，不是 BERT 不使用注意力 padding 掩码。
Transformer模型中自注意力机制的数学表达式是什么？
原题Transformer模型中的位置编码如何数学上表示？
原题如何数学上表达编码器和解码器中的前馈神经网络（FFN）？
原题Transformer模型中Layer Normalization的数学原理是什么？
原题Transformer模型训练中的梯度裁剪是如何数学定义的，它为何重要？
原题如何数学描述Transformer模型中的学习率预热策略？
原题Transformer模型中的残差连接如何数学表达，它们解决的问题是什么？
原题解释Transformer模型输出序列中的概率分布是如何计算的？
原题如何数学地表达Transformer中的“缩放点积注意力”机制？
原题Transformer模型中多头注意力机制的维度拆分是如何实现的？
原题Transformer的位置编码如何使得模型具有顺序感知能力？
原题如何理解Transformer模型中的“编码器-解码器注意力”机制？
原题Transformer的前馈网络（FFN）在模型中承担什么角色？
原题Transformer模型中的“注意力权重”是如何通过训练学习到的？
原题Transformer模型中的参数共享策略具体是指什么？
原题如何理解Transformer中的自回归属性？
原题为什么Transformer模型能够有效处理长距离依赖问题？
原题Transformer中的“负面注意力”（Negative Attention）是什么意思？
原题来源未给出 Negative Attention 对应的论文、模型或算子。
Transformer中如何实现序列到序列的映射？
原题Transformer模型如何处理不同长度的输入序列？
原题在Transformer模型中，如何优化内存使用以处理大型数据集？
原题Transformer模型训练完成后，如何评估其生成能力？
原题什么是Transformer模型，它在哪一年被提出？
原题Transformer模型在哪些NLP任务中展现了显著的性能提升？
原题相较于RNN和LSTM，Transformer模型的哪些特性使其更适合处理NLP任务？
原题Transformer模型是如何被应用到非NLP任务中的？请举例说明。
原题Transformer的哪些变体或改进模型在工业界得到了广泛应用？（如BERT、GPT、T5等）
原题Transformer计算量最大的部分是哪里？如何优化？
原题Transformer、LSTM和单纯的前馈神经网络相比，有哪些提升？
原题有哪些处理超长文本的Transformer改进方法？各自的核心思路是什么？
原题深度学习中有哪些常用的注意力机制？与Transformer的自注意力有何区别？
原题注意力机制计算时，QKV的维度必须相同吗？为什么？
原题Softmax在Transformer中起到什么作用？
原题什么是Scaling-Law？Transformer的Scaling-Law有什么特点？
原题为什么Transformer的Scaling能力比CNN强？
原题Transformer的输入包含哪些内容？各部分的作用是什么？
原题ROPE（Rotary Position Embedding）位置编码有何特点？与原生位置编码相比有什么优势？
原题多头注意力机制MHA是Transformer模型中的核心组件，KVCache和GQA优化的核心思想是什么？
原题简要介绍下Transformer中的QKV，三者的关系是什么？
原题Transformer训练和部署有哪些关键技巧？（结合工业界实际应用）
原题简要介绍Transformer的Encoder模块和Decoder模块，两者的核心差异是什么？
原题Transformer和Mamba(SSM)的区别是什么？各自的适用场景有哪些？
原题介绍一下Transformer中KV Cache的原理，它能解决什么问题？有什么局限性？
原题工业界中，Transformer模型的量化、剪枝优化思路是什么？能带来什么收益？
原题大模型时代，Transformer的架构优化方向有哪些？（如MoE、FlashAttention等）
原题Transformer中的Embedding层有什么作用？如何缓解词表稀疏问题？
原题为什么Transformer在长序列任务中容易出现性能下降？如何改进？
原题简要说明FlashAttention的核心原理，它如何优化Transformer的注意力计算效率？
原题Transformer模型中的Label Smoothing是什么？有什么作用？
原题对比Transformer和CNN，两者在特征提取方式上有什么本质区别？
原题请简要介绍 Transformer 模型以及它与传统的神经网络架构（如 RNN 和 LSTM）之间的主要区别？
原题Transformer 模型中的自注意力机制是如何工作的？可以解释一下“缩放点积注意力”吗？
原题在 Transformer 中，位置编码的作用是什么？为什么要引入位置编码？
原题请解释 Transformer 的多头注意力是如何实现并同时处理不同的信息子空间的？
原题在 Transformer 模型中，层归一化（Layer Normalization）和残差连接（Residual Connection）的目的是什么？
原题为什么 Transformer 模型在处理序列数据方面比传统的 RNN 和 LSTM 模型有效率得多？
原题可以描述一下在 Transformer 模型训练中常用的优化方法和训练技巧吗？
原题请讨论一下 Transformer 模型用于序列生成任务（如机器翻译、文本生成）时，输出序列是如何生成的？
原题在深度学习中，过拟合是一个常见问题。在实际工作中，你是如何防止 Transformer 模型过拟合的？
原题使用 Transformer 模型时可能会遇到的内存和计算问题有哪些？又是如何解决的？
原题Transformer 模型对于输入序列的长度有什么限制？如果要处理很长的序列，你会采取什么措施？
原题在某些情况下，Transformer 模型可能并不是最佳选择。可以讨论一下在什么类型的任务或场景中可能会偏好其他模型而不是 Transformer 吗？
原题Transformer 模型的解释性通常被认为是一个挑战，你是否有什么见解或方法来理解模型的决策过程？
原题设想你需要在不同的硬件配置上部署 Transformer 模型。你会考虑哪些因素以及可能采用的优化策略？
原题
暂无题目