模型架构与注意力
Encoder端和Decoder端是如何进行交互的？
原题Decoder阶段的多头自注意力和encoder的多头自注意力有什么区别？
原题Transformer的并行化提现在哪个地方？Decoder端可以做并行化吗？
原题简单描述一下wordpiece model 和 byte pair encoding，有实际应用过吗？
原题Transformer训练的时候学习率是如何设定的？
Dropout是如何设定的，位置在哪里？Dropout 在测试的需要有什么需要注意的吗？
原题完整原题
Transformer训练的时候学习率是如何设定的？Dropout是如何设定的，位置在哪里？Dropout 在测试的需要有什么需要注意的吗？
引申一个关于bert问题，bert的mask为何不学习transformer在attention处进行屏蔽score的技巧？
原题此处 Transformer 的屏蔽指解码器的因果注意力掩码。
介绍一下 FFN 块 计算公式？
原题介绍一下 GeLU 计算公式？
原题介绍一下 Swish 计算公式？
原题介绍一下 使用 GLU 线性门控单元的 FFN 块 计算公式？
原题
暂无题目