数学基础高频考点
标量、向量、矩阵、张量之间有什么联系和区别？
原题矩阵乘法、批量矩阵乘法和张量维度在 Transformer 中如何理解？
原题常见追问：为什么注意力复杂度是 $O(S^2D)$？
原题向量范数、矩阵范数、核范数、Frobenius 范数分别有什么作用？
原题什么是正定矩阵？为什么协方差矩阵和 Hessian 经常要求半正定？
原题特征值、特征向量的几何意义是什么？
原题奇异值分解 SVD 与特征值分解有什么关系？
原题低秩近似如何解释 PCA、LoRA、模型压缩和推荐系统？
原题线性空间、基、维度和线性变换在深度学习中如何理解？
原题导数和偏导数有什么区别？
原题梯度为什么指向函数上升最快方向？
原题Jacobian 和 Hessian 在深度学习中分别出现在哪里？
原题链式法则如何支撑反向传播和自动微分？
原题泰勒展开和极限思想在优化与大模型训练中有什么作用？
原题Sigmoid、Tanh、ReLU、GELU、SiLU 的导数和梯度问题是什么？
原题Softmax + Cross Entropy 为什么梯度形式很简洁？
原题LayerNorm、RMSNorm 的数学作用是什么？
原题随机变量、概率分布、PMF、PDF 分别是什么？
原题联合概率、边缘概率、条件概率、贝叶斯公式有什么联系？
原题独立性和条件独立性有什么区别？
原题期望、方差、协方差、相关系数如何理解？
原题Bernoulli、Categorical、Binomial、Multinomial 分布分别适合什么场景？
原题高斯分布、多元高斯、协方差矩阵为什么重要？
原题指数分布、Laplace 分布、Dirac 分布和经验分布有什么用途？
原题最大似然估计、MAP、贝叶斯估计有什么区别？
原题熵、交叉熵和困惑度 Perplexity 如何理解？
原题KL 散度为什么不对称？在 VAE、蒸馏、RLHF 中怎么用？
原题JS 散度、互信息、最大熵原理在生成模型中有什么意义？
原题SGD、Momentum、AdaGrad、RMSProp、Adam、AdamW 有什么区别？
原题学习率、Batch Size、梯度噪声、Warmup、Cosine Decay 如何影响训练？
原题梯度爆炸、梯度消失、梯度裁剪如何从数学上理解？
原题过拟合、正则化、Dropout、Label Smoothing 的数学作用是什么？
原题无约束优化、有约束优化、拉格朗日乘子和 KKT 条件如何理解？
原题凸优化和非凸优化有什么区别？深度学习为什么仍能训练成功？
原题Scaled Dot-Product Attention 为什么要除以 $\sqrt{d_k}$？
原题Multi-Head Attention 的线性代数本质是什么？
原题位置编码、RoPE、ALiBi 的数学差异是什么？
原题KV Cache、FlashAttention、长上下文优化背后的数学直觉是什么？
原题自回归语言模型的最大似然训练目标是什么？
原题Temperature、Top-k、Top-p、重复惩罚如何改变采样分布？
原题Embedding 相似度、余弦相似度、向量检索和 RAG 的数学基础是什么？
原题MoE 的门控函数、负载均衡损失和稀疏激活如何理解？
原题常见追问：MoE 是不是一定更强？
原题DDPM 的前向扩散和反向去噪如何用马尔可夫链表示？
原题Score Matching、SDE、ODE 与扩散模型有什么关系？
原题Classifier-Free Guidance 的数学形式是什么？为什么 CFG scale 过大会失真？
原题Flow Matching、Rectified Flow 与传统扩散模型的训练目标有什么差异？
原题RLHF 中 reward model、PPO、KL penalty 分别解决什么问题？
原题DPO 如何把偏好学习转化为分类式损失？
原题GRPO 与 PPO 的数学差异是什么？为什么适合推理模型训练？
原题LoRA 为什么可以用低秩矩阵近似权重更新？
原题量化、反量化、对称/非对称量化、NF4 的核心数学是什么？
原题知识蒸馏、温度系数和 KL 损失如何理解？
原题算法岗、大模型工程岗、多模态方向各自最该优先掌握哪些数学？
原题
暂无题目