BERT 的整体结构是什么，如何形成双向上下文表示？

BERT与Beam Search 了解BERT/beam search吗？

• BERT

• 【BERT模型介绍】介绍BERT模型：架构（Transformer encoder-only）、原理（双向注意力、预训练+微调）、输入表示（token/segment/position embedding）、预训练任务（MLM和NSP）。 「京东、百度、美团、阿里巴巴」

• 【BERT输入表示】用bert做下游任务时，输入有哪些embedding? 「字节跳动」

• 介绍一下BERT的结构

• 讲一下BERT的结构？

• 与 BERT 的掩蔽策略相比，掩码语言建模有何不同？这种预训练方式如何帮助模型在下游的文本分类任务中获得更好的性能？

• 简单介绍下BERT