预训练与架构
【MoE训练不可导】MoE选择了topk的训练过程不可导应该怎么处理？ 「百度」
原题【MoE负载均衡】MoE架构中若某个Expert的token负载过高，负载均衡策略具体如何实现？具体怎么做负载均衡？ 「百度、蚂蚁集团、阿里通义」
原题【MoE路由设计】MoE路由设计你有什么看法？ 「百度」
原题【MTP与Eagle】MTP和Eagle的区别，MTP head的prefill过程，MTP head的kv cache变化 「阿里巴巴」
原题【OneTrans】介绍OneTrans，它里面异构的token如何处理？ 「腾讯」
原题【Qwen3 vs DeepSeek MoE】Qwen3 MoE与DeepSeek MoE区别？ 「阿里通义」
原题【Qwen3 vs DeepSeek-R1】Qwen3和DeepSeek-R1在架构上有哪些关键差异？ 「腾讯」
原题同时，涉及Qwen系列如何选型、LoRA与全参微调、后训练模型评价与价值衡量。
介绍Qwen和DeepSeek系列模型（包括Qwen3、DeepSeek-R1等）在架构上的技术差异，并说明Qwen相比于原始Transformer的结构改动、Qwen2的改进，以及Qwen与LLaMA、DeepSeek的主要区别。
Qwen系列如何选型、
LoRA与全参微调、
后训练模型评价与价值衡量。
原题完整原题
【Qwen与DeepSeek对比】介绍Qwen和DeepSeek系列模型（包括Qwen3、DeepSeek-R1等）在架构上的技术差异，并说明Qwen相比于原始Transformer的结构改动、Qwen2的改进，以及Qwen与LLaMA、DeepSeek的主要区别。同时，涉及Qwen系列如何选型、LoRA与全参微调、后训练模型评价与价值衡量。 「京东、腾讯、腾讯混元、阿里通义」
【RoPE改进】长文本场景下RoPE会出现衰减，有哪些改进手段？ 「字节跳动」
原题【RoPE适配】奇数维hiddensize还能用RoPE吗？怎么适配？ 「蚂蚁集团」
原题
暂无题目