深度网络架构
简单讲一下Transformer中的残差结构以及意义？
原题为什么Transformer块使用 LayerNorm 而不是 BatchNorm？LayerNorm 在 Transformer 的位置是哪里？
原题简要讲一下BatchNorm技术，以及它的优缺点？
原题简单描述一下Transformer中的前馈神经网络？使用了什么激活函数？相关优缺点？
原题Encoder端和Decoder端是如何进行交互的？（可结合seq2seq的attention知识说明）
原题Decoder阶段的多头自注意力和Encoder的多头自注意力有什么区别？（为什么Decoder自注意力需要进行 sequence mask）
原题Transformer的并行化体现在哪个地方？Decoder端可以做并行化吗？
原题简单描述一下wordpiece model 和 byte pair encoding，有实际应用过吗？
原题Transformer训练的时候学习率是如何设定的？
Dropout是如何设定的，位置在哪里？Dropout 在测试时需要有什么注意事项？
原题完整原题
19. Transformer训练的时候学习率是如何设定的？Dropout是如何设定的，位置在哪里？Dropout 在测试时需要有什么注意事项？
BERT的mask为何不学习Transformer在attention处进行屏蔽score的技巧？
原题此处的 BERT mask 指 MLM 输入替换，不是 BERT 不使用注意力 padding 掩码。
暂无题目