从 Logits 实现数值稳定的交叉熵损失。

损失函数、交叉熵

• 交叉熵的代码手写。

• Cross-Entropy Loss· 简单 🟢 简单 — 语言模型预训练的核心损失

• Label Smoothing Loss· 简单 🟢 简单 — 防过拟合的正则化技巧

• 【预训练Loss实现】预训练 loss，自己实现过吗？ 「拼多多」

• 【ViT损失函数实现】手撕ViT损失函数：实现ViTCrossEntropyLoss类，继承自nn.Module，使用import torch和import torch.nn。要求实现交叉熵损失，并考虑ViT中[CLS] token的输出。 「百度」

交叉熵与Focal Loss

• 写出交叉熵损失函数的公式（包括二分类和多分类形式），解释其物理意义，并实现交叉熵损失的计算。

损失函数手撕 手撕BCE、InfoNCE、交叉熵损失函数，并说明：

• 手撕BCE、InfoNCE、交叉熵损失函数，