预训练与架构
【预训练重心】预训练阶段的重心会是什么？ 「腾讯」
原题【领域知识注入策略】想让模型学习某个领域或行业的知识，是应该预训练还是应该微调?请分析两种方法的适用场景：预训练适合大规模、通用知识注入，但成本高；微调适合特定任务、小规模知识注入，但可能过拟合。建议根据数据量、计算资源和目标任务选择。 「字节跳动、百度、腾讯混元」
原题【AReaL核心创新】蚂蚁的AReaL核心创新是什么？ 「蚂蚁集团」
原题【bge-m3模型】bge-m3模型的训练过程、loss设计等 「京东」
原题【Codex技术原理】讲一下Codex的技术原理，和你科研方向相关的。 「京东」
原题【Decoder分类改进】如果想让decoder模型做分类任务，要怎么改进模型结构？ 「字节跳动」
原题【DeepSeek R1】介绍DeepSeek R1，包括重要模块解释。 「字节Seed、字节跳动、蚂蚁集团」
原题【DeepSeek-R1 MLA】R1的MLA是如何实现KV-Cache的节约？ 「字节跳动、美团」
原题DeepSeek系列模型结构、创新与训练技术：包括MoE架构（细粒度专家、共享专家、负载均衡、训练不稳定解决）、GRPO、MLA（含RoPE设计）、MTP（Multi-Token Prediction）、token丢弃机制、V3结构伪代码、V4创新；
DeepSeek系列模型结构、创新与训练技术：包括MoE架构（细粒度专家、共享专家、负载均衡、训练不稳定解决）
GRPO
MLA（含RoPE设计）
MTP（Multi-Token Prediction）
展开其余 5 个小问
token丢弃机制
V3结构伪代码
V4创新
对比ERNIE 4.5 MoE设计
MoE与Dense模型在RL训练中的差异及不稳定性原因。
原题完整原题
【DeepSeek与MoE架构】DeepSeek系列模型结构、创新与训练技术：包括MoE架构（细粒度专家、共享专家、负载均衡、训练不稳定解决）、GRPO、MLA（含RoPE设计）、MTP（Multi-Token Prediction）、token丢弃机制、V3结构伪代码、V4创新；对比ERNIE 4.5 MoE设计；MoE与Dense模型在RL训练中的差异及不稳定性原因。 「京东、字节跳动、百度、美团、腾讯、腾讯混元、蚂蚁集团、阿里通义」
【Embedding更新判断】预训练embedding如果在业务数据训练时是冻结的，在业务数据有比较大的变化时，怎么判断embedding是不是需要更新了？ 「字节跳动」
原题
暂无题目