模型架构与注意力
讲讲对Attention的理解？
原题Attention的计算步骤是什么？
原题Attention机制和传统的Seq2Seq模型有什么区别？
原题self-attention 和 target-attention的区别？
原题在常规attention中，一般有k=v，那self-attention 可以吗?
原题目前主流的attention方法有哪些？
原题self-attention 在计算的过程中，如何对padding位做mask？
原题深度学习中attention与全连接层的区别何在？
原题transformer中multi-head attention中每个head为什么要进行降维？
原题transformer在哪里做了权重共享，为什么可以做权重共享？
原题transformer的点积模型做缩放的原因是什么？
原题BERT用字粒度和词粒度的优缺点有哪些？
原题BERT的Encoder与Decoder掩码有什么区别？
原题BERT用的是transformer里面的encoder还是decoder？
原题为什么BERT选择mask掉15%这个比例的词，可以是其他的比例吗？
原题为什么BERT在第一句前会加一个[CLS] 标志?
原题BERT非线性的来源在哪里？
原题BERT训练时使用的学习率 warm-up 策略是怎样的？为什么要这么做？
原题在BERT应用中，如何解决长文本问题？
原题为什么要做多头注意力机制呢
原题Transformer为何使用多头注意力机制？
原题Transformer为什么Q和K使用不同的权重矩阵生成，为何不能使用同一个值进行自身的点乘？
原题Transformer计算attention的时候为何选择点乘而不是加法？两者计算复杂度和效果上有什么区别？
原题在计算attention score的时候如何对padding做mask操作？
原题为什么在进行多头注意力的时候需要对每个head进行降维？
原题为何在获取输入词向量之后需要对矩阵乘以embedding size的开方？意义是什么？
原题简单介绍一下Transformer的位置编码？有什么意义和优缺点？
原题你还了解哪些关于位置编码的技术，各自的优缺点是什么？
原题为什么transformer块使用LayerNorm而不是BatchNorm？LayerNorm 在Transformer的位置是哪里？
原题简单描述一下Transformer中的前馈神经网络？使用了什么激活函数？相关优缺点？
原题Encoder端和Decoder端是如何进行交互的？
原题Decoder阶段的多头自注意力和encoder的多头自注意力有什么区别？
原题Transformer的并行化提现在哪个地方？Decoder端可以做并行化吗？
原题简单描述一下wordpiece model 和 byte pair encoding，有实际应用过吗？
原题Transformer训练的时候学习率是如何设定的？
Dropout是如何设定的，位置在哪里？Dropout 在测试的需要有什么需要注意的吗？
原题完整原题
Transformer训练的时候学习率是如何设定的？Dropout是如何设定的，位置在哪里？Dropout 在测试的需要有什么需要注意的吗？
引申一个关于bert问题，bert的mask为何不学习transformer在attention处进行屏蔽score的技巧？
原题此处 Transformer 的屏蔽指解码器的因果注意力掩码。
介绍一下 FFN 块 计算公式？
原题介绍一下 GeLU 计算公式？
原题介绍一下 Swish 计算公式？
原题介绍一下 使用 GLU 线性门控单元的 FFN 块 计算公式？
原题介绍一下 使用 GeLU 的 GLU 块 计算公式？
原题介绍一下 使用 Swish 的 GLU 块 计算公式？
原题
暂无题目