手写 Self-Attention。

• 手撕 Self-Attention 机制

• 手撕自注意力机制（用PyTorch）

• 手撕自注意力机制（不用PyTorch）

• 【Transformer、Attention、手撕｜L3】手撕Cross Attention 「百度」

Transformer、Attention、MHA、手撕、NumPy、Mask、Self-Attention、Token Mixing、contiguous、Positional Encoding｜L4

• Attention机制包含哪些核心算子？请用PyTorch简单搭建一个Self-Attention模块的伪代码，并解释每个算子的作用。
• 手写自注意力，然后追问在Attention is all you need一文中，除了Q/K/V的注意力计算，还有一个关键步骤是什么？

• Softmax Attention· 简单 🟢 简单 — 所有注意力的基础，QKV 计算

• Causal Self-Attention· 中等 🟡 中等 — 在 Softmax Attention 上加 mask

• Sliding Window Attention· 中等 🟡 中等 — Mistral 局部注意力，降低复杂度

Scaled Dot-Product Attention

• 手写attention

Self-Attention实现

• Attention机制包含哪些核心算子？请用PyTorch简单搭建一个Self-Attention模块的伪代码，并解释每个算子的作用。
• Attention算子的实现。
• 手撕self-attention，要求用矩阵乘法实现。

• 【因果掩码注意力实现】手撕：带因果掩码的缩放点积注意力前向传播代码。 「字节跳动」

• Implement scaled dot-product attention with a causal mask from scratch (NumPy or PyTorch).