深度学习基础汇编
【自注意力机制】手撕自注意力机制（MHA）。 「腾讯」
原题【AdaLN】AdaLN是怎么工作的，为什么t的注入用AdaLN？ 「腾讯混元」
原题【Attention优化】Attention优化方向？Multi-Head Attention现在有哪些主流的优化方向？每个方向下有什么优化方法？ 「腾讯混元、阿里通义」
原题【Attention理解与量化】attention本身怎么理解、为什么attention往往比权重更难量化。 「蚂蚁集团」
原题【Cross-Attention】crossattention用法。cross attn的qkv分别是啥？代码：MCG模型，类似于crossattention。手撕是Cross Attention。 「百度、腾讯混元、阿里巴巴」
原题MCG 模型未给出论文与结构，关联仅覆盖 Cross-Attention 机制与代码。
【KV缓存MHA实现】手写带kvcache的MHA。 「百度」
原题【MHA token mixing】手撕MHAtokenmixing 「字节跳动」
原题token mixing 在此未说明是一般信息混合还是具体模型模块。
手撕MHA + RoPE。
实现Rotary Position Embedding (RoPE)。
原题完整原题
【MHA与RoPE】手撕MHA + RoPE。实现Rotary Position Embedding (RoPE)。 「字节跳动、美团」
【MHA实现】实现Casual mask的MHA，说下计算复杂度。手写Multi-Head Attention(带Mask)。手写Multi-Head Self-Attention的实现(PyTorch或TensorFlow)。手撕mha和场景题。手撕Multi-Head Attention contiguousO的作用。 「字节跳动、百度、美团」
原题KV 高流量问题未给出完整负载数据。
实现GQA。
实现MQA。
MQA、GQA、MLA分别优化了什么？
请手撕MQA和GQA，并说明Multi-Query Attention的好处。
展开其余 6 个小问
PLE，MMoE
讲一个了解的大模型
LoRA原理
MHA和GQA
流量很多的时候，KV Cache还可以做吗怎么做(没大听懂，不会)
TRPO，PPO？
原题完整原题
【MQA/GQA/MLA】实现GQA。实现MQA。MQA、GQA、MLA分别优化了什么？请手撕MQA和GQA，并说明Multi-Query Attention的好处。PLE，MMoE 讲一个了解的大模型 LoRA原理 MHA和GQA 流量很多的时候，KV Cache还可以做吗怎么做(没大听懂，不会) TRPO，PPO？ 「京东、字节跳动、百度、腾讯、腾讯混元、阿里巴巴」
暂无题目