预训练与架构
【MHA/MQA/GQA对比】MHA、MQA、GQA分别是什么？各自的优缺点、适用场景、区别以及推理速度和显存占用上的差异？ 「百度」
原题【Mid Training】介绍mid train作用是什么？ 「百度」
原题【MiMo模型】对 MiMo 系列模型了解多少?请介绍MiMo（Mixture of Modalities）或类似多模态模型的核心思想、架构特点（如如何融合文本、图像等模态）、训练方式以及代表性模型（如Flamingo、BLIP-2等）。 「字节跳动」
原题【MLA】介绍MLA的原理，包括其矩阵吸收是什么，以及prefill和decode阶段是否都要做矩阵吸收。 「字节跳动、腾讯」
原题原题未明确 Pipeline 指执行流程还是流水线并行。
MoE（混合专家模型）是什么？路由如何设置？专家如何选择？
MoE与Dense架构相比的核心优势是什么？为什么MoE成为主流？
MoE与Pipeline有什么区别？
训练过程中容易遇到什么问题？如何训练？
MoE通常放在哪一层？为什么要放在FeedForward层而不放在Attention层？
原题完整原题
【MoE】MoE（混合专家模型）是什么？路由如何设置？专家如何选择？MoE与Dense架构相比的核心优势是什么？为什么MoE成为主流？MoE与Pipeline有什么区别？训练过程中容易遇到什么问题？如何训练？MoE通常放在哪一层？为什么要放在FeedForward层而不放在Attention层？ 「京东、百度、美团、腾讯、腾讯混元、蚂蚁集团」
【MoE架构】解释MoE（混合专家模型）架构，包括其基本原理、优缺点，并特别结合DeepSeek MoE的实现进行说明。 「京东、字节跳动、百度」
原题【MoE架构与路由】请详细讲解MoE架构的运行过程，包括张量维度的变化、路由机制的具体实现，以及MoE的特点；同时分析路由过程中可能遇到的问题（如负载不均衡、专家崩溃等）及其解决方案。 「腾讯、阿里巴巴」
原题【MoE训练与SFT区别】你训练 MoE 和普通 SFT 有什么区别吗？ 「腾讯」
原题【M-RoPE位置编码】介绍M-RoPE位置编码，包括其相比原始RoPE的改进和优点，以及实现中低频部分对应的是时间维度还是空间xy维度？ 「京东、阿里巴巴」
原题【Packing vs Padding】预训练时packing和padding的区别，packing的优点和缺点有哪些，哪种效果好一些？ 「阿里通义」
原题
暂无题目