优化方法

题集来源:Rocky Ding(WeThinkIn)收录项目:AIGC-Interview-Book查看原题集

题目目录

34 道原题
  1. 有哪些方法能提升CNN模型的泛化能力

    原题
  2. BN层解决了什么问题?

    原题
  3. BN的公式

    原题
  4. BN层训练和测试的不同

    原题
  5. BN训练时为什么不用整个训练集的均值和方差?

    原题
  6. BN层用在哪里?

    原题
  7. BN层的参数量

    原题
  8. BN的优缺点

    原题
  9. Instance Normalization的作用

    原题
  10. 有哪些提高GAN训练稳定性的Tricks

    原题
  11. 什么是超参数?有哪些常用的超参数?

    原题
  12. 如何寻找到最优超参数?

    原题
  13. Spectral Normalization的相关知识

    原题
  14. 什么是EMA?

    原题
  15. 深度学习中有哪些经典的优化器?

    原题
  16. 深度学习中常用的学习率衰减策略有哪些?

    原题
  17. 什么是方向导数

    原题
  18. 什么是梯度

    原题
  19. 为什么沿梯度方向是函数变化最快的方向?

    原题
  20. T5LayerNorm和LayerNorm的区别是什么?

    原题
  21. 什么是xavier初始化?

    原题
  22. 深度学习训练过程中,如果设置的学习率过大,会导致什么问题?

    原题
  23. 介绍一下深度学习中的学习率衰减?

    原题
  24. 深度学习训练过程中,如果设置的学习率过小,会导致什么问题?

    原题
  25. 深度学习中模型权重融合有哪些主流的方法?

    原题
  26. 什么是adafactor优化器?

    原题
  27. 什么是深度学习中的梯度裁剪技术?

    原题
  28. 如何选择梯度裁剪的阈值

    原题
  29. CNN+Transformer组合的架构有哪些优势?

    原题
  30. 介绍一下schedule_free优化器的原理

    原题
  31. LayerNorm有什么作用?

    原题
  32. AI模型权重0初始化,在训练过程中还能更新权重吗?AI模型权重0初始化有哪些优势和劣势?

    原题
  33. Weight Normalization(WN)有什么作用?

    原题
  34. 介绍一下RMSNorm的原理和作用

    原题