预训练与架构
【数据Packing】数据 packing 如何做的？ 「拼多多」
原题【数据配比】不同领域的数据比例，多任务学习数据比例? 「字节Seed」
原题【模型优化技术】当前优化模型最主要技术手段有哪些？请列举并解释关键技术，如模型剪枝、量化、蒸馏、架构优化（MoE、GQA）、训练技巧（FlashAttention、混合精度）、推理加速（vLLM、TensorRT）等。 「腾讯混元」
原题【模型多语言适配】怎么让英文大语言模型支持中文？具体到汉化Llama3需要做哪些工作？请说明多语言适配的方法：扩展词表（添加中文token）、继续预训练（中文语料）、指令微调（中文指令数据）、评估与对齐。针对Llama3，具体步骤包括修改tokenizer、准备中文预训练数据、调整训练超参数等。 「字节跳动、阿里通义」
原题【模型对比】DeepSeek、Qwen等模型比较？ 「阿里巴巴」
原题【模型层信息】大模型不同层存什么信息？请详细说明各层（如底层、中层、顶层）通常编码的知识类型（如语法、语义、事实等）。 「美团」
原题不同厂商在模型规模和架构选择上有什么差异？
当前主流LLM（如 Llama、Qwen、ChatGLM）在架构设计上有何异同？
现在主流的大模型，像GPT系列，大多都用的是Decoder-only架构。为什么不采用像T5那样的Encoder-Decoder架构呢？
现在大模型是什么架构？
现在的大模型都是decode-only架构，但是Bert是encode-only，解释一下两者的区别和为什么这么设计？
目前大模型的主要结构是怎样的，以你用到的Qwen为例吧，讲讲Decoder-only架构的大模型是怎么构建的？
原题完整原题
【模型架构对比】不同厂商在模型规模和架构选择上有什么差异？当前主流LLM（如 Llama、Qwen、ChatGLM）在架构设计上有何异同？现在主流的大模型，像GPT系列，大多都用的是Decoder-only架构。为什么不采用像T5那样的Encoder-Decoder架构呢？现在大模型是什么架构？现在的大模型都是decode-only架构，但是Bert是encode-only，解释一下两者的区别和为什么这么设计？目前大模型的主要结构是怎样的，以你用到的Qwen为例吧，讲讲Decoder-only架构的大模型是怎么构建的？ 「京东、字节跳动、美团、阿里巴巴」
【模型规模对比】为什么2.5-7B的结果比3-8B的好 「字节跳动」
原题2.5-7B/3-8B 未明确模型系列。
【模型规模扩展】模型规模从0到1扩大到1到10放大的作用是什么？ 「百度」
原题【模型选型】模型选型：什么情况用Bert模型，什么情况用LLaMA、ChatGLM类大模型，咋选？基座模型选型一般需要考虑哪些因素？ 「字节跳动、百度、腾讯混元」
原题
暂无题目