机器学习基础汇编
【损失缩放与学习率】以下对同一个模型的两种处理方式是否等价：一种是对整个batch的loss乘以0.1，一种是loss不变，学习率乘以0.1？（考虑优化器） 「腾讯」
原题【梯度下降算法比较】请详细解释梯度下降算法的原理，并比较随机梯度下降(SGD)、小批量梯度下降(Mini-batch GD)和动量法(Momentum)的优缺点及适用场景。 「蚂蚁集团」
原题【步长调整】lineSearch中步长如何动态调整？ 「百度」
原题【线性回归梯度下降实现】基于梯度下降实现线性回归完整训练流程，要求运行，loss收敛。 「MiniMax」
原题【重要性采样】重要性采样的原理？ 「字节Seed」
原题【Adam优化器实现】实现Adam优化器（含AdamW变体）。要求：1）实现MyAdam类，包含__init__(self, params, lr=1e-3, betas=(0.9, 0.999), eps=1e-8)、step()和zero_grad()方法；step()需使用偏差校正：m_hat = m / (1 - beta1^t)，v_hat = v / (1 - beta2^t)；数值需与torch.optim.Adam一致。2）实现AdamW，即在Adam基础上加入权重衰减（weight_decay参数），更新时参数减去lr * weight_decay * param。 「字节跳动、腾讯」
原题L1和L2正则化的区别是什么？请写出它们的公式。
方差和偏差的trade-off？
模型过拟合的根本原因？
介绍一下过拟合和欠拟合，包括过拟合的常见原因以及如何解决过拟合和欠拟合。
原题完整原题
【泛化与正则化】1. L1和L2正则化的区别是什么？请写出它们的公式。2. 方差和偏差的trade-off？3. 模型过拟合的根本原因？4. 介绍一下过拟合和欠拟合，包括过拟合的常见原因以及如何解决过拟合和欠拟合。 「京东、字节Seed、拼多多、百度、美团、蚂蚁集团、阿里巴巴、阿里通义」
如何判断模型是否过拟合？如果模型在训练集上表现很好但测试集很差，可能是什么原因？遇到过拟合如何处理？并对比大小模型过拟合的难易程度。
你一般是怎么解决过拟合问题的？请列举并解释多种方法（包括但不限于正则化、数据增强、早停、Dropout、减少模型复杂度、交叉验证等）；除深度和棵数外，还有其他方法吗？
正则化为什么能起作用？它的作用是什么，处理什么问题，以及它是怎么做的？请描述其作用过程。
原题完整原题
【过拟合与正则化】1. 如何判断模型是否过拟合？如果模型在训练集上表现很好但测试集很差，可能是什么原因？遇到过拟合如何处理？并对比大小模型过拟合的难易程度。 2. 你一般是怎么解决过拟合问题的？请列举并解释多种方法（包括但不限于正则化、数据增强、早停、Dropout、减少模型复杂度、交叉验证等）；除深度和棵数外，还有其他方法吗？ 3. 正则化为什么能起作用？它的作用是什么，处理什么问题，以及它是怎么做的？请描述其作用过程。 「京东、字节跳动、百度、美团、蚂蚁集团、阿里巴巴、阿里通义」
【Precision与Recall】准确率和召回率的定义。口述recall和precision的区别（不要公式）。 「百度」
原题原文“准确率”与 precision 混用，指标指代不明确。
【交叉验证】5折交叉验证怎么做？模型是否做了交叉验证？ 「美团、腾讯」
原题
暂无题目