深度学习精华·网络架构
请简述正弦余弦位置编码的原理，并推导说明其为何能表示相对位置关系。
原题为什么现代大模型普遍采用 RoPE（旋转位置编码）？它的核心原理和优势是什么？
原题解释 RoPE 的外推问题。Base 参数的作用是什么？有哪些常见的外推解决方案（如 NTK-aware, YaRN）？
原题RoPE 的高低频旋转圈数差异对应什么类型的依赖建模？ALiBi 位置编码与 RoPE 相比有什么优缺点？
原题在模型组件层面，LLM 常用 RMSNorm 和 SwiGLU 替代传统组件，原因是什么？
原题什么是 MoE（混合专家模型）？它是如何在不增加推理计算量的前提下扩大模型参数量的？
原题在多模态大模型中，Transformer 是如何适配不同模态的？扩散模型中的 Transformer（DiT）有何特点？
原题大模型训练中，Transformer 的主要计算瓶颈在哪里？有哪些主流的并行训练方案（如 3D 并行）？
原题在推理阶段，有哪些关键的系统级优化技术？
原题为什么 Transformer 能支撑模型规模不断放大，成为 AIGC 时代的基石架构？未来的演进方向可能是什么？
原题
暂无题目