损失函数
损失是模型唯一能看见的东西。它决定了模型往哪个方向学。
任务决定损失
任务 | 输出 | 损失 |
|---|---|---|
多分类 | C 个分数 |
|
二分类 | 1 个分数 |
|
回归 | 1 个实数 |
|
交叉熵
多分类用得最多的就是它。先看怎么用,再拆开看它在算什么东西。
loss_fn = nn.CrossEntropyLoss() logits = torch.randn(64, 10) # 模型原始输出,没经过 softmax target = torch.randint(0, 10, (64,)) # 正确答案,0-9 的整数 loss = loss_fn(logits, target) # 一个标量输入是 logits,不是概率
CrossEntropyLoss 内部做了 log_softmax。
所以模型最后一层不要加 softmax,加了等于做两次,结果全错。
这是最常见的实现错误之一。
它到底在算什么
# 数学上等价于: # 1. softmax 把分数变成概率 probs = torch.softmax(logits, dim=1) # 2. 取正确类别的概率,取对数,取负 loss = -torch.log(probs[range(len(target)), target]).mean()预测正确类别的概率 | 损失 |
|---|---|
0.99 | 0.01 |
0.90 | 0.11 |
0.50 | 0.69 |
0.10 | 2.30 |
0.01 | 4.61 |
猜得越离谱,惩罚越重,而且是指数级的。 这就是交叉熵比 MSE 更适合分类的原因。
二分类
二分类有自己的一套损失,而且坑比多分类多——三个地方必须对齐。
loss_fn = nn.BCEWithLogitsLoss() logits = torch.randn(64, 1) # 一个分数 target = torch.randint(0, 2, (64, 1)).float() # 必须是 float! loss = loss_fn(logits, target)三个必须对齐的地方
① 目标要 .float()(BCE 要求浮点)
② 输出和目标的形状要一致,都是 (N, 1)
③ 是 BCEWithLogitsLoss,不是 BCELoss——后者要求你先过 sigmoid
回归
输出是连续数值时,交叉熵就用不上了。回归有回归的三个选择。
nn.MSELoss() # 均方误差,对离群点敏感 nn.L1Loss() # 绝对误差,对离群点稳健 nn.SmoothL1Loss() # 两者折中(Huber)reduction:整个 batch 怎么汇总
loss_fn = nn.CrossEntropyLoss() # 默认:对一个 batch 内所有样本取平均 loss = loss_fn(logits, target) # 不平均,返回每个样本的损失 loss_each = loss_fn(logits, target, reduction="none") # shape (64,) # 求和 loss_sum = loss_fn(logits, target, reduction="sum")reduction="none" 很有用:想知道哪些样本错得最离谱时, 按损失排序看前几个。
类别不平衡
上面三种损失都默认各类别一样重要。现实中往往不是:正类只占 1% 时,模型全判负也能拿 99% 准确率。
# 正类只占 1%,给它 99 倍的权重 weights = torch.tensor([1.0, 99.0]) loss_fn = nn.CrossEntropyLoss(weight=weights)另一种做法是 nn.CrossEntropyLoss(label_smoothing=0.1), 不让他把概率压到 1.0,能缓解过拟合。
损失突然变成 nan
损失函数选对了、参数都对齐了,训练还是可能崩。这一节是排查清单。
原因 | 检查 |
|---|---|
学习率太大 | 调小 10 倍试试 |
数据里有 nan |
|
log(0) | 要用 logits 版损失,别手写 log |
梯度爆炸 | 加 |
除以 0 | 检查自定义 loss 里的分母 |
训练的第一步永远是看损失
# 未训练时,10 分类的交叉熵应该是 ln(10) ≈ 2.30 print(loss_fn(model(x), y).item())这个数字是基准
10 分类,随机猜的概率是 10%,损失 -ln(0.1) = 2.30。
一开始损失远大于 2.30 → 初始化或数据有问题。
一开始就接近 0 → 数据泄漏,标签混进特征了。
下一课
损失告诉你"错多少",下一课讲怎么根据它改参数:优化器。