深度学习基础汇编
【长序列注意力优化】针对长序列中Attention计算复杂度高的问题，有哪些降低复杂度的方法？请列举并分类说明。其中一种方法是FlashAttention，请说明它与其他方法在技术上的异同。 「字节跳动、百度、腾讯、阿里巴巴」
原题【OneTrans vs RankMixer】你认为OneTrans和RankMixer相比，各自的优缺点有哪些？ 「字节跳动」
原题来源未说明近似许可、目标设备与复杂度约束。
手撕注意力机制变体：
MHA/MQA/GQA兼容版，init里设置传参通义万相数据；
MLA实现；
MultiHeadAttention中Q、K、V线性变换层引入LoRA；
设计高效Attention实现，降低时间/空间复杂度。
原题完整原题
【注意力机制实现】手撕注意力机制变体：1) MHA/MQA/GQA兼容版，init里设置传参通义万相数据；2) MLA实现；3) MultiHeadAttention中Q、K、V线性变换层引入LoRA；4) 设计高效Attention实现，降低时间/空间复杂度。 「京东、字节跳动、腾讯、阿里通义」
【上下文不足】问我是否熟悉：RMS norm，layer Norm，激活函数（llava的），q-former，qk norm，rope，swigle 「百度」
原题【归一化作用】归一化在深度学习中的作用是什么? 「京东」
原题BatchNorm原理、训练测试逻辑、可学习参数与不可学习参数、统计量获取。
BN中可学习参数（缩放和平移参数）如何获取？均值、方差通过哪些维度计算得到？
讲一下BN模块，训练、测试逻辑。
训练与推理时BN中的均值、方差分别是什么？训练和推理的时候的均值和方差都是怎么得到的？
请介绍BatchNorm和LayerNorm的原理、做法和训练方法，并说明BN层的意义及其可学习参数与不可学习参数。
原题完整原题
【BatchNorm原理与流程】BatchNorm原理、训练测试逻辑、可学习参数与不可学习参数、统计量获取。变体：1）BN中可学习参数（缩放和平移参数）如何获取？均值、方差通过哪些维度计算得到？2）讲一下BN模块，训练、测试逻辑。3）训练与推理时BN中的均值、方差分别是什么？训练和推理的时候的均值和方差都是怎么得到的？4）请介绍BatchNorm和LayerNorm的原理、做法和训练方法，并说明BN层的意义及其可学习参数与不可学习参数。 「字节Seed、字节跳动、百度、阿里巴巴」
【BN与LN作用维度】BN与LN作用维度：给定三维矩阵bsz×seq_len×dim，BN/LN分别作用在哪个维度？ 「京东」
原题【Normalization位置】Normalization是放在激活函数之前还是之后？放在之前有什么好处？ 「百度」
原题【图像BN应用】图像中BN是怎么用的？ 「京东」
原题【归一化对比】层归一化（LN）和RMS归一化的区别？以及LN和批归一化（BN）的区别？ 「字节跳动」
原题
暂无题目