预训练与架构
【RoPE位置编码】解释RoPE旋转位置编码的原理、优点（相对位置、外推性等）及长度外推方法。对比其他常用位置编码（如ALiBi），讨论它们在长上下文外推上的直觉差异。 「字节跳动、美团、阿里巴巴、阿里通义」
原题【Temperature=0差异】temperature = 0的时候为什么会有区别。 「百度」
原题【Top-k采样】手撕：实现一个最简单的 top-k采样（给定 logits/概率，取top-k后重新归一化采样），并说明边界情况怎么处理。 「拼多多」
原题【上下文记忆机制】模型能记住上下文的关键是什么？ 「百度文心」
原题「字节跳动、腾讯、腾讯混元」
常见的LLM有哪些，做了哪些改进？
当前主流的开源大模型是哪个，其架构具体是怎样的？
最新的开源大模型（如Grok、LLaMA3）有哪些优缺点？
请列举代表性LLM（如GPT系列、LLaMA、Mistral、Grok等），说明其架构改进（如RoPE、GQA、MoE），重点介绍当前主流开源模型（如LLaMA3）的架构细节（层数、注意力机制、激活函数等），并分析最新模型的优缺点（如性能、效率、开源程度）。
原题完整原题
【主流LLM概览】常见的LLM有哪些，做了哪些改进？当前主流的开源大模型是哪个，其架构具体是怎样的？最新的开源大模型（如Grok、LLaMA3）有哪些优缺点？请列举代表性LLM（如GPT系列、LLaMA、Mistral、Grok等），说明其架构改进（如RoPE、GQA、MoE），重点介绍当前主流开源模型（如LLaMA3）的架构细节（层数、注意力机制、激活函数等），并分析最新模型的优缺点（如性能、效率、开源程度）。 「字节跳动、腾讯、腾讯混元」
【位置编码】说一下大模型常用的位置编码有哪些，各有什么优缺点？ 「百度」
原题【位置编码与长序列】解释位置编码，如何实现长序列编码? 「字节跳动、美团」
原题【参数量计算】参数量计算:Qwen-14B 的 “14B” 怎么算出来的? 「阿里巴巴」
原题【垂直领域继续预训练】你怎么看待预训练用垂直数据，继续预训练预期达到什么效果？ 「蚂蚁集团」
原题【基座模型与业务模型差异】做基座大模型以及做业务大模型有什么不同吗？ 「美团」
原题
暂无题目