深度学习基础汇编
Transformer中常用的位置编码方式有哪些？请列举并简要说明。进一步追问：除了正余弦还有什么？
知不知道LLaMA？引申出推荐系统怎么做位置编码？
介绍Transformer中的位置编码，包括作用、常见方法（正弦位置编码、可学习位置编码、旋转位置编码RoPE等）及其原理，比较优缺点，特别说明相对位置编码比绝对位置好的原因，以及RoPE的原理和实现方式。
原题完整原题
【位置编码】Transformer中常用的位置编码方式有哪些？请列举并简要说明。进一步追问：除了正余弦还有什么？知不知道LLaMA？引申出推荐系统怎么做位置编码？ 介绍Transformer中的位置编码，包括作用、常见方法（正弦位置编码、可学习位置编码、旋转位置编码RoPE等）及其原理，比较优缺点，特别说明相对位置编码比绝对位置好的原因，以及RoPE的原理和实现方式。 「字节跳动、拼多多、百度、美团、腾讯、蚂蚁集团、阿里巴巴、阿里通义」
【单头注意力局限性】单头注意力有什么局限性？如果只使用单头注意力，可能会在哪些方面受限？ 「腾讯、腾讯混元」
原题【参数量计算】Transformer的参数量怎么计算？有哪些层是有参数的？请给出参数估计方法。 「京东、百度、美团、腾讯混元」
原题【因果掩码注意力实现】手撕：带因果掩码的缩放点积注意力前向传播代码。 「字节跳动」
原题对比普通多头注意力（MHA），GQA是如何兼顾速度与效果的？详细讲解MHA、MQA、GQA和MLA的区别，包括原理和公式，并分析对推理速度（首字延迟、生成速度）的影响。
还了解其他注意力机制吗（如Flash Attention）？
原题完整原题
【多头注意力变体】对比普通多头注意力（MHA），GQA是如何兼顾速度与效果的？详细讲解MHA、MQA、GQA和MLA的区别，包括原理和公式，并分析对推理速度（首字延迟、生成速度）的影响。还了解其他注意力机制吗（如Flash Attention）？ 「字节跳动、百度、腾讯、阿里巴巴」
【多头注意力实现】手撕多头注意力机制（MHA），包括自注意力（self-attention）和位置编码的实现，要求使用numpy。同时说明多头注意力的优势、实现方法。实现多头自注意力。 「字节Seed、拼多多、百度、美团、腾讯、腾讯混元、阿里巴巴、阿里通义」
原题来源要求实现位置编码，但未指定具体编码形式。
Transformer的多头注意力机制如何实现？请描述输入输出、self-attention计算过程、QKV的定义与计算，以及张量形状的变化（包括维度变化）。
view和reshape的区别是什么？
原题完整原题
【多头注意力机制与张量形状】Transformer的多头注意力机制如何实现？请描述输入输出、self-attention计算过程、QKV的定义与计算，以及张量形状的变化（包括维度变化）。view和reshape的区别是什么？ 「字节跳动、拼多多」
【多尺度注意力】多尺度注意力指的是什么？ 「字节跳动」
原题【安全softmax实现】手撕safe softmax 「阿里巴巴」
原题Transformer介绍，masked MHA是怎么处理的？Transformer中有哪些mask？
有没有看最新的大模型论文？
原题完整原题
【掩码注意力】Transformer介绍，masked MHA是怎么处理的？Transformer中有哪些mask？有没有看最新的大模型论文？ 「美团、阿里巴巴、阿里通义」
暂无题目