模型架构与工作原理
分词器 (Tokenizer)、词元(Token)、词元编号(Token ID)和词表(Vocabulary)是什么关系?
原题字节对编码(BPE)、词片(WordPiece)、一元文法(Unigram)分词算法有什么区别?
原题词表大小、分词粒度和多语言能力如何相互影响?
原题词元嵌入(Token Embedding)、上下文化表示和句向量有什么区别?
原题位置编码为什么不可缺少?绝对位置编码、旋转位置编码(RoPE)和 线性偏置注意力(ALiBi)有什么区别?
原题一批文本进入变换器架构(Transformer)前,张量形状如何变化?
原题仅编码器(Encoder-only)、编码器-解码器(Encoder-Decoder)和 仅解码器(Decoder-only)的本质区别是什么?
原题为什么 Decoder-only 成为通用生成式大模型的主流架构?
原题一个 Decoder-only 模型的完整前向过程是什么?
原题大语言模型怎么使用注意力机制?
原题
暂无题目