大模型基础面试题
在增量预训练过程中如何设置学习率(learning rate, LR)？
原题什么是warmup ratio？训练过程中怎么设置？
原题为什么需要混合精度训练？
原题CLM和MLM分别是什么，有什么区别？
原题GLM的自回归空白填充方法与BERT中的使用遮蔽语言模型(MLM)有什么不同，为自然语言理解(NLU)任务带来了哪些优势
原题Encoder-only、Decoder-only和Encoder-Decoder的模型分别有什么区别，怎么运用？
原题为什么现在的大语言模型都用Decoder-only
原题介绍一下BERT的结构
原题介绍一下LLaMA的结构
原题LLaMA模型在训练过程中如何处理梯度消失和梯度爆炸的问题
原题
暂无题目