模型架构与工作原理

题集来源:Rocky Ding(WeThinkIn)收录项目:AIGC-Interview-Book查看原题集

题目目录

28 道原题
  1. 分词器 (Tokenizer)、词元(Token)、词元编号(Token ID)和词表(Vocabulary)是什么关系?

    原题
  2. 字节对编码(BPE)、词片(WordPiece)、一元文法(Unigram)分词算法有什么区别?

    原题
  3. 词表大小、分词粒度和多语言能力如何相互影响?

    原题
  4. 词元嵌入(Token Embedding)、上下文化表示和句向量有什么区别?

    原题
  5. 位置编码为什么不可缺少?绝对位置编码、旋转位置编码(RoPE)和 线性偏置注意力(ALiBi)有什么区别?

    原题
  6. 一批文本进入变换器架构(Transformer)前,张量形状如何变化?

    原题
  7. 仅编码器(Encoder-only)、编码器-解码器(Encoder-Decoder)和 仅解码器(Decoder-only)的本质区别是什么?

    原题
  8. 为什么 Decoder-only 成为通用生成式大模型的主流架构?

    原题
  9. 一个 Decoder-only 模型的完整前向过程是什么?

    原题
  10. 大语言模型怎么使用注意力机制?

    原题