DeepNorm 如何结合残差缩放与初始化改善深层 Transformer 训练？

知识专题：机器学习与推荐系统题目类型：原理机制技术难度：进阶

收录题集：1 份

暂无参考答案

未标记

询问 AI

选择 AI 平台

Kimi 千问 ChatGPT

自动带入当前题目

本题目录

收录题集

1 份

深度学习基础汇编

阿东玩 AI · AgentGuide · 1 条原题

查看题集 →

- 【DeepNorm】请阐述DeepNorm的思路，并写出其代码实现。要求：解释DeepNorm的原理、公式、与Post-LN的关系，以及如何提升训练稳定性。「腾讯混元」