数学基础高频考点
梯度爆炸、梯度消失、梯度裁剪如何从数学上理解？
原题过拟合、正则化、Dropout、Label Smoothing 的数学作用是什么？
原题无约束优化、有约束优化、拉格朗日乘子和 KKT 条件如何理解？
原题凸优化和非凸优化有什么区别？深度学习为什么仍能训练成功？
原题Scaled Dot-Product Attention 为什么要除以 $\sqrt{d_k}$？
原题Multi-Head Attention 的线性代数本质是什么？
原题位置编码、RoPE、ALiBi 的数学差异是什么？
原题KV Cache、FlashAttention、长上下文优化背后的数学直觉是什么？
原题自回归语言模型的最大似然训练目标是什么？
原题Temperature、Top-k、Top-p、重复惩罚如何改变采样分布？
原题
暂无题目