预训练与架构

题集来源:阿东玩 AI(Adong)收录项目:AgentGuide查看原题集

题目目录

254 道原题
  1. 【模型参数量】大模型(LLMs)后面跟的175B、60B、540B等指什么?大模型参数量里的7B、13B、70B这些数字本质代表什么? 「字节跳动、百度、腾讯混元」

    原题
  2. 【模型结构学习】大模型的模型结构有去学习过吗? 「阿里巴巴」

    原题
  3. 【语言模型定义】什么是语言模型? 「京东」

    原题
  4. 【项目模型结构】你项目中用到的大模型结构是什么? 「字节跳动」

    原题
  5. 【BERT与BART对比】BERT和BART的区别? 「蚂蚁集团」

    原题
  6. 了解BERT/beam search吗?

    完整原题

    【BERT与Beam Search】了解BERT/beam search吗? 「字节跳动」

    原题
  7. 【BERT与GPT对比】请详细说明BERT、GPT和T5的核心区别,包括模型架构(如BERT的encoder-only、GPT的decoder-only、T5的encoder-decoder)、训练方式(如BERT的MLM和NSP、GPT的自回归语言模型、T5的span corruption)、以及mask的具体使用方式(如BERT的随机mask、GPT的因果mask、T5的sentinel token)。 「字节跳动、百度、腾讯」

    原题
  8. 【BERT与LLM对比】BERT和LLM有什么区别? 「字节跳动」

    原题
  9. 【BERT模型介绍】介绍BERT模型:架构(Transformer encoder-only)、原理(双向注意力、预训练+微调)、输入表示(token/segment/position embedding)、预训练任务(MLM和NSP)。 「京东、百度、美团、阿里巴巴」

    原题
  10. 【BERT输入表示】用bert做下游任务时,输入有哪些embedding? 「字节跳动」

    原题