backward 与 grad

backward 到底算什么

backward() 不返回梯度,它把梯度写到各个叶子张量的 .grad 里。

x = torch.tensor([2.0], requires_grad=True) y = x ** 2 y.backward() x.grad # tensor([4.]) ← 2x = 4

为什么标量才能直接 backward

PyTorch 要求对一个标量求导。如果 y 是向量,必须说明"对这个向量的哪个方向求导"。

x = torch.tensor([1.0, 2.0], requires_grad=True) y = x ** 2 # shape (2,) y.backward() # ✗ 报错 # RuntimeError: grad can be implicitly created only for scalar outputs y.sum().backward() # ✓ 先变成标量 x.grad # tensor([2., 4.])

梯度参数:给每个输出配一个权重

上面用 .sum() 把向量变成了标量。如果不想求和,也可以直接告诉它“按这个权重合并”。

x = torch.tensor([1.0, 2.0], requires_grad=True) y = x ** 2 # 等价于 (y * w).sum().backward() y.backward(torch.tensor([1.0, 10.0])) x.grad # tensor([ 2., 40.]) # 2*1*1=2,2*2*10=40

backward(gradient=w) 算的是 d(sum(y·w))/dx。

通常写 loss.backward() 就够了——损失函数本来就是个标量。

grad 的结构

backward 之后,梯度到底存在哪、长什么样?

w = torch.randn(2, 3, requires_grad=True) loss = (w ** 2).sum() loss.backward() w.grad.shape # torch.Size([2, 3]) ← 和 w 形状完全一样 w.grad.dtype # torch.float32

.grad 和原张量同形状:每个元素都有自己的一份梯度。

看一个真实的模型

上面都是一个张量。换成真正的 nn.Module,规则一样,只是参数多了。

import torch.nn as nn model = nn.Linear(3, 1) # y = xW^T + b x = torch.randn(5, 3) y = torch.randn(5, 1) pred = model(x) loss = ((pred - y) ** 2).mean() loss.backward() model.weight.grad.shape # torch.Size([1, 3]) model.bias.grad.shape # torch.Size([1]) model.weight.grad # 具体数值

一个 nn.Linear(3, 1) 有 3 个权重 + 1 个偏置,backward() 之后全都有梯度了。

这就是为什么不用手推

真实模型几百万参数,手推梯度不可能。

你只写 loss.backward(),它按计算图把每个参数的梯度都算好。

不想要梯度的时候

不是所有参数都该更新——迁移学习时,预训练那部分就要冻住。

requires_grad_(False)

w = torch.randn(3, 3, requires_grad=True) w.requires_grad_(False) # 改成不记录 w.requires_grad # False

冻结一部分参数

# 迁移学习的常见写法:前面几层冻结 for p in model.features.parameters(): p.requires_grad = False # 只有剩下的层会被优化器更新

grad 的四个坑

前面几条规则记住了,实际写代码还是会踩这四个。

坑

说明

累加不清零

每次 backward 都往上加,训练前要 zero_grad()

非叶子没有 grad

中间结果默认不存,需要时用 retain_grad()

重复 backward 报错

图用完就释放,要再来一次需 retain_graph=True

改动了叶子张量

原地修改会破坏图,报 a leaf Variable that requires grad is being used in an in-place operation

# 坑 3 loss.backward(retain_graph=True) # 保留图,能再 backward 一次 loss.backward() # 默认第二次会报错

retain_graph 不要随便加

加了会多占内存。真正的用途是"一个前向、多个损失"这类结构。

因为报错就无脑加 retain_graph=True,通常是把更深的问题盖住了。

完整的最小训练

import torch, torch.nn as nn model = nn.Linear(3, 1) opt = torch.optim.SGD(model.parameters(), lr=0.01) for step in range(100): pred = model(x) loss = ((pred - y) ** 2).mean() opt.zero_grad() # 1. 清零 loss.backward() # 2. 求梯度 opt.step() # 3. 更新参数 print(loss.item())

这三行的顺序是固定的:清零 → 反向 → 更新。

下一课

训练循环里有些代码不该记梯度——评估、推理、数据预处理。

下一课讲 no_grad 和 detach,以及用错的后果。