模型架构与工作原理
分词器 (Tokenizer)、词元(Token)、词元编号(Token ID)和词表(Vocabulary)是什么关系？
原题字节对编码（BPE）、词片（WordPiece）、一元文法（Unigram）分词算法有什么区别？
原题词表大小、分词粒度和多语言能力如何相互影响？
原题词元嵌入（Token Embedding）、上下文化表示和句向量有什么区别？
原题位置编码为什么不可缺少？绝对位置编码、旋转位置编码（RoPE）和 线性偏置注意力（ALiBi）有什么区别？
原题一批文本进入变换器架构（Transformer）前，张量形状如何变化？
原题仅编码器（Encoder-only）、编码器-解码器（Encoder-Decoder）和 仅解码器（Decoder-only）的本质区别是什么？
原题为什么 Decoder-only 成为通用生成式大模型的主流架构？
原题一个 Decoder-only 模型的完整前向过程是什么？
原题大语言模型怎么使用注意力机制？
原题因果掩码如何兼顾并行训练和自回归生成？
原题多头注意力（MHA）、多查询注意力（MQA）和分组查询注意力（GQA）有什么区别？为什么 GQA 能降低键值头数？
原题在大语言模型中，注意力（Attention），前馈层（FFN），残差连接和归一化各自解决什么问题？
原题为什么堆叠很多层以后，模型能够形成复杂能力？
原题语言头（LM Head）、对数几率（Logits）、软最大化（Softmax）和概率分布是什么关系？
原题贪心、温度（Temperature）、Top-K、（核采样）Top-P 和（束搜索）Beam Search 如何选择？
原题模型为什么要逐 Token 生成？生成何时停止？
原题混合专家（MoE）与稠密模型的本质区别是什么？
原题路由（Router）、Top-K 路由和负载均衡如何工作？
原题混合专家（MoE）为什么更难训练和扩展？
原题上下文窗口为什么不能靠修改一个配置项无限扩展？
原题位置内插（PI）、NTK感知（NTK-aware）、YaRN 和 LongRoPE 的核心思路有什么区别？
原题标称上下文长度为什么不等于有效上下文长度？
原题快速注意力（FlashAttention）为什么更快？它是否改变了注意力结果？
原题滑动窗口、稀疏注意力和环注意力（Ring Attention）分别解决什么问题？
原题QK-Norm 解决什么问题？它与快速注意力（FlashAttention）是同一类优化吗？
原题如何根据模型配置估算参数量？
原题参数量、训练浮点运算次数（FLOPs）和训练显存为什么不能画等号？
原题
暂无题目