预训练与架构
【GDN架构】解释一下GDN(gated delta attention)架构和背景，为什么qwen3.5这样设计？ 「阿里巴巴」
原题来源未定义“KV Cache 污染”。
KV Cache核心原理、多轮对话命中率优化、量化对生成质量的影响、污染处理方法。
KV Cache核心原理、
多轮对话命中率优化、
量化对生成质量的影响、
污染处理方法。
原题完整原题
【KV Cache优化】KV Cache核心原理、多轮对话命中率优化、量化对生成质量的影响、污染处理方法。 「字节跳动、蚂蚁集团」
【KV Cache管理】实现推理时的键值缓存机制，管理与优化长文本生成 「字节跳动」
原题【LLM未来方向】聊聊LLM未来方向，包括量化、Offload、FlashAttention等前沿趋势。 「阿里巴巴」
原题【Loss Spike】预训练过程中出现Loss Spike的原因有哪些？ 「字节跳动」
原题【Memory策略】介绍一下你的memory策略还有你研究过的主流策略。 「字节Seed」
原题【MLA位置损失】长序列下MLA如何减少位置损失？ 「字节跳动」
原题“位置损失”未给出度量、现象与对照条件。
【MLA注意力机制】讲讲MLA。 「百度」
原题介绍MoE架构，包括：MoE通常放在哪些层？MoE相比Dense模型有什么好处？MoE架构存在哪些问题？
消除MoE模型在RL时对routing replay的依赖，从数学形式的角度来理解上述两项优势。
熟悉的开源大模型框架（如LLaMA、HuggingFace）。
原题完整原题
【MoE架构】介绍MoE架构，包括：MoE通常放在哪些层？MoE相比Dense模型有什么好处？MoE架构存在哪些问题？消除MoE模型在RL时对routing replay的依赖，从数学形式的角度来理解上述两项优势。熟悉的开源大模型框架（如LLaMA、HuggingFace）。 「百度、腾讯、腾讯混元」
大模型中的MoE结构优化是如何实现的？
同样是MoE架构，Qwen3的MoE架构和DeepSeek的MoE架构有哪些区别？
大模型的MoE结构相比于Dense结构，训练难点主要是什么？
DeepSeekMoE为什么效果好，有什么值得我们借鉴创新点？
如果一个路由没有到你想要的专家，你的惩罚策略是什么？
原题完整原题
【MoE架构与优化】大模型中的MoE结构优化是如何实现的？同样是MoE架构，Qwen3的MoE架构和DeepSeek的MoE架构有哪些区别？大模型的MoE结构相比于Dense结构，训练难点主要是什么？DeepSeekMoE为什么效果好，有什么值得我们借鉴创新点？如果一个路由没有到你想要的专家，你的惩罚策略是什么？ 「百度、阿里巴巴、阿里通义」
暂无题目