深度学习基础汇编
【参数量计算】模型参数量怎么算？ 「京东」
原题【残差连接】残差是什么？残差连接的作用是什么？ 「京东、字节跳动、蚂蚁集团」
原题【残差连接作用】为什么深层网络需要残差连接？ 「京东」
原题【深度学习发展原因】传统神经网络、机器学习早在7、80年代提出，你觉得为什么现在才成熟甚至突然发展这么快？什么因素造成的？ 「美团」
原题【端到端学习】到底什么是端到端? 「字节跳动」
原题【DropPath】是否了解DropPath？ 「字节跳动」
原题【Embedding原理】提问PyTorch里面embedding的原理，具体底层原理怎么实现的？ 「京东」
原题【FFN加宽注意事项】FFN加宽是直接加宽就ok了吗？需要注意什么？ 「百度」
原题FFN一般是几层，中间的非线性变化是什么？现在变成了SwiGLU，优势是什么？
手写SwiGLU；SwiGLU激活函数相比GeLU有什么优势？
介绍使用GeLU的GLU块计算公式、使用GLU线性门接单元的FFN块计算公式、使用Swish的GLU块计算公式。
原题完整原题
【FFN结构与SwiGLU】FFN结构与SwiGLU： 1. FFN一般是几层，中间的非线性变化是什么？现在变成了SwiGLU，优势是什么？ 2. 手写SwiGLU；SwiGLU激活函数相比GeLU有什么优势？ 3. 介绍使用GeLU的GLU块计算公式、使用GLU线性门接单元的FFN块计算公式、使用Swish的GLU块计算公式。 「字节跳动、美团、腾讯」
LoRA初始化与更新：
LoRA初始化时，通常将B初始化为0、A随机初始化（如高斯分布），使得初始ΔW=BA=0，训练初期等于原模型。为什么这种初始化很重要？如果A全0初始化、B随机初始化，或者B=0（即B初始化为0但A非零），会发生什么？
LoRA里AB矩阵怎么初始化怎么更新？
原题完整原题
【LoRA初始化与更新】LoRA初始化与更新： 1. LoRA初始化时，通常将B初始化为0、A随机初始化（如高斯分布），使得初始ΔW=BA=0，训练初期等于原模型。为什么这种初始化很重要？如果A全0初始化、B随机初始化，或者B=0（即B初始化为0但A非零），会发生什么？ 2. LoRA里AB矩阵怎么初始化怎么更新？ 「字节跳动、百度、美团」
暂无题目