补充概念与机制问答
什么是语言模型
原题专家如何学习？
原题专家的数量对预训练有何影响？
原题什么是MoE大模型？
原题MoE大模型具备哪些优势？
原题什么是 长度外推问题？
原题长度外推问题 的 解决方法 有哪些？
原题预训练数据 Token 重复 是否影响 模型性能？
原题SFT需要训练Token数？
原题为什么要考虑在重复的数据集上做多次训练？
原题预训练数据集重复的影响是什么？
原题影响多次Epochs训练效果下降的原因是什么？
原题多样的训练目标可以减轻多Epoch下降吗？
原题关于self-attention为什么要使⽤(Q, K, V)三元组⽽不是其他形式
原题Transformer代替seq2seq？
原题该节比较早期循环编码器—解码器与 Transformer。
word2vec到BERT改进了什么
原题使用BERT预训练模型为什么最多只能输入512个词?
原题BERT如何区分一词多义？
原题为什么说ELMO是伪双向，BERT是真双向？
原题BERT和Transformer Encoder的差异有哪些？
原题Scaled Dot Product:为什么是缩放点积，而不是点积模型？
原题FFN的作用？
原题MLM任务，对于在数据中随机选择 15% 的标记，其中80%被换位[mask]，10%不变、10%随机替换其他单词，原因是什么？
原题其mask相对于CBOW有什么异同点？
原题对于长度较长的语料，如何训练？
原题大模型混合进度训练FP16 与 BF16 的对比
原题为什么需要Deepspeed
原题微调方法是啥？如何微调？
原题为什么需要 PEFT？
原题微调和参数高效微调之间的区别是什么?
原题PEFT 有什么优点？
原题多种不同的高效微调方法对比
原题多种不同的高效微调方法对比
原题什么是检索增强 LLM
原题为什么在进行softmax之前需要对attention进行scaled（为什么除以dk的平方根），并使用公式推导进行讲解
原题简单讲一下Transformer中的残差结构以及意义。
原题简答讲一下BatchNorm技术，以及它的优缺点。
原题为什么要进行BN呢？
原题MoE为什么可以实现更大模型参数、更低训练成本？
原题MoE如何解决训练稳定性问题？
原题MoE如何解决Fine-Tuning过程中的过拟合问题？
原题与Transformer区别
原题DP和DDP的区别
原题DDP和FSDP的区别
原题
暂无题目