机器学习基础与优化
- 原文作者
- 李文乐 其中第 1—9 题来自李文乐编写的文档：第 1—5 题为 CRF，第 6—9 题为 HMM。
简单介绍条件随机场
原题条件随机场预测的维特比算法求解过程：
原题链式条件随机场[chain-structured CRF]条件概率公式：
原题HMM、MEMM和CRF模型的比较
原题常见的概率图模型中，哪些是生成模型和哪些是判别模型？
原题最大熵马尔可夫模型为什么会产生标注偏置问题？如何解决？
原题HMM为什么是生成模型
原题如何对中文分词问题用HMM模型进行建模的训练？
原题最大熵HMM模型为什么会产生标注偏置问题，如何解决？
原题原题“最大熵 HMM”承接前文的“最大熵马尔可夫模型”（MEMM）。
简要介绍Prophet
原题机器学习中为什么需要梯度下降
原题梯度下降法缺点
原题梯度下降法直观理解
原题梯度下降核心思想归纳
原题如何对梯度下降法进行调优
原题随机梯度和批量梯度区别
原题各种梯度下降法性能比较
原题推导多元函数梯度下降法的迭代公式。
原题梯度下降法如何判断是否收敛？
原题梯度下降法为什么要在迭代公式中使用步长系数？
原题梯度下降法和牛顿法能保证找到函数的极小值点吗，为什么？
原题解释一元函数极值判别法则。
原题解释多元函数极值判别法则。
原题什么是鞍点？
原题解释什么是局部极小值，什么是全局极小值。
原题推导多元函数牛顿法的迭代公式。
原题老板给了你个关于癌症检测的数据集，你构建了分类器然后计算了准确率为 98%， 你是否对这个模型很满意？为什么？如果还不算理想，接下来该怎么做？
原题题干未给出类别比例、验证划分及漏报、误报代价。
怎么判断个训练好的模型是否过拟合？ 如果判断成了过拟合，那通过什么办法 可以解决过拟合问题？
原题对于线性回归，我们可以使 Closed-Form Solution, 因为可以直接把导数设置 为 0，并求出参数。在这个 Closed-Form 涉及到了求逆矩阵的过程，什么时候不能求出其逆矩阵？这时候如何处理？
原题关于正则，我们⼀般采⽤ L2 或者 L1, 这两个正则之间有什么区别？ 什么时候需要⽤ L2， 什么时候需要⽤ L1?
原题正则项是否是凸函数？请给出证明过程。
原题原题未指定正则函数；前一题讨论 L1/L2。
什么叫 ElasticNet? 它主要⽤来解决什么问题？ 具体如何去优化？
原题基于 Coordinate Descent 算法给出 LASSO 的优化推导过程。
原题请推导逻辑回归模型： ⽬标函数的构建，最优解的求解过程（SGD）需要详细写出。
原题在数据线性可分的情况下，为什么逻辑回归模型的参数会变得⽆穷⼤？怎么避免？
原题逻辑回归是线性还是⾮线性模型？ 为什么？ 请给出推导过程。
原题我们在使⽤逻辑回归模型的时候，通常把连续性变量切分成离散型变量，为什么？ 有什么好处？
原题朴素⻉贝叶斯应为叫 Naïve Bayes, 请说出朴素⻉贝叶斯模型的构建过程以及预测过程， 并说出为什么叫“naive”?
原题什么叫⽣成模型，什么叫判别模型？ 朴素⻉贝叶斯，逻辑回归，HMM，语⾔模型 中哪⼀个是⽣成模型，哪⼀个是判别模型？
原题决策树与随机森林的区别是什么？ 如果让你选择，你会使⽤哪个模型，为什么？
原题请介绍 k-means 算法的流程， 写出 k-means 模型的⽬标函数。K-means 求解 过程跟 EM 算法之间有什么关系？ K-MEANS ⽬标函数是否是 convex?
原题什么叫 EM 算法？有哪些经典模型的求解过程会⽤到 EM 算法？
原题EM 算法是否⼀定会收敛？EM 算法给出的全局最优还是局部最优？
原题请解释什么叫 MLE，什么叫 MAP? 请说明它们之间的区别。 在数据量⽆穷多的 时候，是否 MAP 趋近于 MLE 估计？
原题请解释什么叫召回率，精确率，F1 Measure，ROC, AUC? 什么时候需要⽤到这 些？
原题数据集拥有⾮常多的特征，但样本个数有限，所以计划做特征选择，有哪些⽅法 可以⽤来做特征选择呢？
原题随机森林和 Gradient Boosting Tree 之间的区别是什么？
原题在构建决策树模型的时候，我们⼀般不会构建到底，也就做⼀些剪枝的操作，为 什么？ 然⽽，在构建随机森林的时候剪枝的操作不像决策树⾥那么重要，为什么？
原题什么样的数据是不均衡数据（imbalance data）？ 需要怎么样的处理？
原题什么是 kernel trick? 它有什么好处？并写出 RBF kernel, Gaussian Kernel 的公 式。
原题什么 Mercer’s Theorem， 阐述⼀下具体的细节。
原题使⽤⾮线性 Kernel 有哪些优缺点？重点介绍⼀下效率上的缺点，并说明为什么会 产⽣效率上的缺点？
原题SVM 是 margin-based classifier, 试着推导 SVM，并说明什么是 KKT 条件。
原题如果不考虑 kernel， 逻辑回归和 SVM 的区别是什么？
原题在随机梯度下降法⾥怎么有效地选择学习率?有哪些常⻅见的动态改变学习率的策略？
原题深度学习是什么？ 它跟所谓的传统的学习模型有什么本质的区别？从模型的 Capacity, Hierarchical Representation 的⻆角度举例说明。
原题PCA 的原理是什么？ 推导⼀下 PCA 的过程。
原题什么叫 PAC 理论？ 它主要⽤来解决什么问题？
原题解释⼀下矩阵分解算法以及怎么⽤到推荐系统⾥，并利⽤梯度下降法来推导矩阵 分解过程。
原题模型参数和超参数的区别是什么？
原题超参数的选择⽅法有哪些？⾄少列出 4 种以上来说明，并说出其优缺点。
原题什么是 XGBoost 模型？说明⼀下其技术细节。
原题怎么把 K-means 算法应⽤到⼤规模的数据上？ 有什么 Scalable 的⽅法？(hint:mini-batch, triangle inequality)
原题K-means 算法与 GMM 之间有什么关系？
原题在深度学习模型⾥，有哪些技术可以⽤来避免过拟合现象？
原题CNN ⾥⾯ POOLING 的作⽤是什么？ 卷积的作⽤是什么？
原题在分类问题⾥，最后⼀层通常使⽤ softmax，请写 softmax 函数。
原题描述⼀下 SGD, Adagrad, Adam 算法之间的区别，什么时候使⽤ SGD？ Adagrad？ Adam 算法？
原题简 单 描 述 ⼀ 下 什 么 是 Variational Autoencoder(VAE), 什 么 是 Generative Adversial Network(GAN)
原题Dropout 和 Bagging 模型的关系是什么？ 为什么 Dropout 可以起到避免过拟合 的作⽤？
原题对于拥有两层隐含层的神经⽹络（MLP）, 请⼿动推导其 BP 算法的细节。
原题原题未给出激活函数、输出损失和样本批量。
使⽤ KNN 会遇到⼀些效率上的问题，请说明如何使⽤ LSH（latent semantic hashing）来做近似操作？
原题原题的 LSH 按近似近邻语境理解为 locality-sensitive hashing（局部敏感哈希）。
在朴素⻉贝叶斯和语⾔模型中我们通常会使⽤ smoothing 技术，请简述⼏个常⻅见 的 smoothing ⽅法以及它们优缺点。
原题如何理解高方差与低偏差?
原题什么是过拟合和欠拟合，为什么会出现这个现象
原题怎么解决欠拟合
原题怎么解决过拟合（重点）
原题为什么参数越小代表模型越简单？
原题原题未区分参数数值大小、参数稀疏与参数数量。
为什么L1比L2更容易获得稀疏解？（重点）
原题Dropout为什么有助于防止过拟合？（重点）
原题Dropout在训练和测试时都需要吗？
原题Dropout如何平衡训练和测试时的差异呢？
原题BN和Dropout共同使用时会出现的问题
原题L1 和 L2 正则先验分别服从什么分布
原题
暂无题目