损失函数

损失是模型唯一能看见的东西。它决定了模型往哪个方向学。

任务决定损失

任务

输出

损失

多分类

C 个分数

CrossEntropyLoss

二分类

1 个分数

BCEWithLogitsLoss

回归

1 个实数

MSELoss / L1Loss

交叉熵

多分类用得最多的就是它。先看怎么用,再拆开看它在算什么东西。

loss_fn = nn.CrossEntropyLoss() logits = torch.randn(64, 10) # 模型原始输出,没经过 softmax target = torch.randint(0, 10, (64,)) # 正确答案,0-9 的整数 loss = loss_fn(logits, target) # 一个标量

输入是 logits,不是概率

CrossEntropyLoss 内部做了 log_softmax。

所以模型最后一层不要加 softmax,加了等于做两次,结果全错。

这是最常见的实现错误之一。

它到底在算什么

# 数学上等价于: # 1. softmax 把分数变成概率 probs = torch.softmax(logits, dim=1) # 2. 取正确类别的概率,取对数,取负 loss = -torch.log(probs[range(len(target)), target]).mean()

预测正确类别的概率

损失

0.99

0.01

0.90

0.11

0.50

0.69

0.10

2.30

0.01

4.61

猜得越离谱,惩罚越重,而且是指数级的。 这就是交叉熵比 MSE 更适合分类的原因。

二分类

二分类有自己的一套损失,而且坑比多分类多——三个地方必须对齐。

loss_fn = nn.BCEWithLogitsLoss() logits = torch.randn(64, 1) # 一个分数 target = torch.randint(0, 2, (64, 1)).float() # 必须是 float! loss = loss_fn(logits, target)

三个必须对齐的地方

① 目标要 .float()(BCE 要求浮点)

② 输出和目标的形状要一致,都是 (N, 1)

③ 是 BCEWithLogitsLoss,不是 BCELoss——后者要求你先过 sigmoid

回归

输出是连续数值时,交叉熵就用不上了。回归有回归的三个选择。

nn.MSELoss() # 均方误差,对离群点敏感 nn.L1Loss() # 绝对误差,对离群点稳健 nn.SmoothL1Loss() # 两者折中(Huber)

reduction:整个 batch 怎么汇总

loss_fn = nn.CrossEntropyLoss() # 默认:对一个 batch 内所有样本取平均 loss = loss_fn(logits, target) # 不平均,返回每个样本的损失 loss_each = loss_fn(logits, target, reduction="none") # shape (64,) # 求和 loss_sum = loss_fn(logits, target, reduction="sum")

reduction="none" 很有用:想知道哪些样本错得最离谱时, 按损失排序看前几个。

类别不平衡

上面三种损失都默认各类别一样重要。现实中往往不是:正类只占 1% 时,模型全判负也能拿 99% 准确率。

# 正类只占 1%,给它 99 倍的权重 weights = torch.tensor([1.0, 99.0]) loss_fn = nn.CrossEntropyLoss(weight=weights)

另一种做法是 nn.CrossEntropyLoss(label_smoothing=0.1), 不让他把概率压到 1.0,能缓解过拟合。

损失突然变成 nan

损失函数选对了、参数都对齐了,训练还是可能崩。这一节是排查清单。

原因

检查

学习率太大

调小 10 倍试试

数据里有 nan

torch.isnan(x).any()

log(0)

要用 logits 版损失,别手写 log

梯度爆炸

加 clip_grad_norm_

除以 0

检查自定义 loss 里的分母

训练的第一步永远是看损失

# 未训练时,10 分类的交叉熵应该是 ln(10) ≈ 2.30 print(loss_fn(model(x), y).item())

这个数字是基准

10 分类,随机猜的概率是 10%,损失 -ln(0.1) = 2.30。

一开始损失远大于 2.30 → 初始化或数据有问题。

一开始就接近 0 → 数据泄漏,标签混进特征了。

下一课

损失告诉你"错多少",下一课讲怎么根据它改参数:优化器。