机器学习基础汇编
【KL散度与交叉熵】KL散度与交叉熵的关系、区别和联系是什么？请手推公式，并说明各自的计算方法。KL散度有什么作用？为什么要用KL散度？交叉熵、信息熵、KL散度。什么是KL散度？请介绍其定义。它和 loss 有什么关系？ 「字节跳动、百度、美团、腾讯混元、蚂蚁集团、阿里巴巴、阿里通义」
原题【KL散度用于分类】分类任务可以用KL散度吗？ 「蚂蚁集团」
原题【RankNet与Hinge Loss】讲一下hinge loss和RankNet loss，写出公式，需要几个样本？ 「百度、蚂蚁集团」
原题【交叉熵推导】写出交叉熵公式并推导。 「百度、阿里巴巴」
原题【常用损失函数】10个常用的损失函数及Python代码实现。 「腾讯」
原题原题要求实现 10 个损失函数，但未提供函数清单与接口。
损失函数是什么？如何定义？在优化什么？
手撕损失函数（包括norm等）。
线性回归的损失函数是什么？
逻辑回归的损失函数是什么？
展开其余 7 个小问
手撕4个损失函数。
有哪几种常见的损失函数?
样本不均衡处理，解释Focal Loss的理解以及在多分类任务上的使用（PyTorch）。
介绍一下用的什么损失函数，记不记得其他的对比损失？
相似度和KL散度的区别，在训练loss上的差异。
解释你的Loss函数里的每一项是干嘛的。
讲讲你自定义loss的思路？
原题完整原题
【损失函数】损失函数是什么？如何定义？在优化什么？手撕损失函数（包括norm等）。线性回归的损失函数是什么？逻辑回归的损失函数是什么？手撕4个损失函数。有哪几种常见的损失函数? 样本不均衡处理，解释Focal Loss的理解以及在多分类任务上的使用（PyTorch）。介绍一下用的什么损失函数，记不记得其他的对比损失？相似度和KL散度的区别，在训练loss上的差异。解释你的Loss函数里的每一项是干嘛的。讲讲你自定义loss的思路？ 「京东、字节跳动、拼多多、百度、美团、腾讯、蚂蚁集团、阿里巴巴」
手撕BCE、InfoNCE、交叉熵损失函数，并说明：
手撕BCE、InfoNCE、交叉熵损失函数，
BCE loss为什么适用于分类任务，
对比学习中的InfoNCE和BPR；
InfoNCE如何计算，为什么要normalize，温度系数的作用；
对比学习如何负采样数据，如何平衡batch的正负样本；
举例说明损失中某个权重为什么要这么设置；
分类任务为什么不用MSE？数学上使用MSE是否可行？逻辑回归损失函数为什么不能是MSE？
原题完整原题
【损失函数手撕】手撕BCE、InfoNCE、交叉熵损失函数，并说明：BCE loss为什么适用于分类任务，对比学习中的InfoNCE和BPR；InfoNCE如何计算，为什么要normalize，温度系数的作用；对比学习如何负采样数据，如何平衡batch的正负样本；举例说明损失中某个权重为什么要这么设置；分类任务为什么不用MSE？数学上使用MSE是否可行？逻辑回归损失函数为什么不能是MSE？ 「京东、字节跳动、百度、腾讯、腾讯混元、阿里巴巴」
【InfoNCE与Sampled Softmax】InfoNCE 和 Sampled Softmax 的区别？ 「阿里巴巴」
原题【前向KL与反向KL】前向KL和反向KL的区别，和交叉熵的关系，哪些方法在用？ 「字节跳动」
原题【损失函数设计】损失函数如何设计或选择？不同损失函数之间的差异是什么？ 「字节跳动、百度、阿里巴巴」
原题
暂无题目