预训练与架构
【模型架构改进】比如 low-rank adaptor、LoRA 融合，或者用Mamba替换部分token path? 「美团」
原题【模型训练上限】对模型训练的看法，现在 mid train 的上限在哪? 「百度」
原题【涌现能力】大模型涌现能力的产生原因，小模型为什么不具备涌现能力？涌现能力是啥原因？ 「百度、腾讯、腾讯混元、阿里通义」
原题【生成式架构】详细讲解尝试过的生成式架构，讲解他们token化的区别，为什么要做这些结构，出发点，参数量及样本量。 「美团」
原题【自然语言理解】请描述大模型中自然语言理解模块的具体实现方案，包括语义解析和意图识别的关键技术。 「腾讯」
原题【跨词表知识蒸馏】用到了OPD，但是teacher模型和student词表存在差异，怎么做的跨词表OPD，OPD的优化目标; 「字节跳动」
原题【通义千问对比】通义千问系列模型的技术特点，和开源LLaMA、Qwen模型的关联与区别？ 「阿里通义」
原题【长序列优化】CoT太长，预训练过的样本如何优化？ 「字节Seed」
原题“预训练过的样本如何优化”未说明样本问题与优化目标。
【长文本训练策略】相关长文本是怎么做几阶段训练的？ 「腾讯」
原题【预训练与SFT问题诊断】怎么判断一个case属于pretrain的问题还是sft的问题? 「蚂蚁集团」
原题
暂无题目