模型架构与注意力
transformer的点积模型做缩放的原因是什么？
原题BERT用字粒度和词粒度的优缺点有哪些？
原题BERT的Encoder与Decoder掩码有什么区别？
原题BERT用的是transformer里面的encoder还是decoder？
原题为什么BERT选择mask掉15%这个比例的词，可以是其他的比例吗？
原题为什么BERT在第一句前会加一个[CLS] 标志?
原题BERT非线性的来源在哪里？
原题BERT训练时使用的学习率 warm-up 策略是怎样的？为什么要这么做？
原题在BERT应用中，如何解决长文本问题？
原题为什么要做多头注意力机制呢
原题
暂无题目