模型架构与工作原理
因果掩码如何兼顾并行训练和自回归生成？
原题多头注意力（MHA）、多查询注意力（MQA）和分组查询注意力（GQA）有什么区别？为什么 GQA 能降低键值头数？
原题在大语言模型中，注意力（Attention），前馈层（FFN），残差连接和归一化各自解决什么问题？
原题为什么堆叠很多层以后，模型能够形成复杂能力？
原题语言头（LM Head）、对数几率（Logits）、软最大化（Softmax）和概率分布是什么关系？
原题贪心、温度（Temperature）、Top-K、（核采样）Top-P 和（束搜索）Beam Search 如何选择？
原题模型为什么要逐 Token 生成？生成何时停止？
原题混合专家（MoE）与稠密模型的本质区别是什么？
原题路由（Router）、Top-K 路由和负载均衡如何工作？
原题混合专家（MoE）为什么更难训练和扩展？
原题
暂无题目