预训练与架构
【Scaling Law】对scaling law的理解，多模态大模型有吗？模型scaling应该往哪个方面做，有什么可以观察的现象，然后得到什么结论？ 「京东、字节Seed、字节跳动、美团、蚂蚁集团」
原题【Scaling方法】还了解哪些方法做scaling，介绍onetrans。 「腾讯」
原题【TokenMixer vs OneTrans】介绍tokenmixer和onetrans的区别？ 「字节跳动」
原题TokenMixer 未给出对应模型或论文；关联仅覆盖已明确的 OneTrans 部分。
【中文大模型训练经验】训练中文大模型有啥经验？ 「字节跳动、百度、腾讯混元」
原题【主流架构对比】主流LLM架构对比：Llama / DeepSeek / Qwen，重点介绍DeepSeek的MoE路由策略、MLA低秩注意力。 「百度」
原题主流模型架构演变：llama1-3的演变、qwen3的moe怎么做、deepseek的mtp。
llama1-3的演变、
qwen3的moe怎么做、
deepseek的mtp。
原题完整原题
【主流架构演变】主流模型架构演变：llama1-3的演变、qwen3的moe怎么做、deepseek的mtp。 「字节Seed」
【主流模型架构对比】对比Qwen3与DeepSeek-R1的模型架构，包括DeepSeek V3和R1的核心架构差异、训练流程及数据来源，并说明它们在设计上的关键技术路径差异。最近的 Qwen3.5 有没有关注？有用过Qwen系列的模型吗？梳理千问系列的脉络。 「字节跳动、百度、美团、腾讯混元、阿里通义」
原题【代码LLM仓库级能力】repository-level的code llm能力如何？ 「字节Seed」
原题【任务平衡】如何选择通用任务和特定任务平衡? 「字节Seed」
原题【位置编码】3D RoPE的原理？ 「腾讯混元」
原题
暂无题目