形状、广播与设备
深度学习里 80% 的报错都是形状不对。这一课把形状规则一次说清。
形状要念出来
报错信息里全是形状,看不懂形状就读不懂报错。先学会把它读成人话。
看到 torch.Size([32, 3, 224, 224]),不要读"三十二三二二四二二四", 要读"32 张 3 通道 224×224 的图"。
形状 | 含义 |
|---|---|
| N 个标量(一维) |
| N 个样本,每个 D 个特征 |
| N 张图,C 通道,高 H 宽 W |
| N 个句子,每句 T 个词,每词 D 维 |
PyTorch 的图像是 NCHW
PyTorch 用 NCHW(批、通道、高、宽)。
TensorFlow 和很多图像库用的是 NHWC。混着用就会把通道当成高度。
(3,) 和 (3,1) 不是一回事
a = torch.tensor([1., 2., 3.]) # shape (3,) b = a[:, None] # shape (3, 1) c = a[None, :] # shape (1, 3) a.shape, b.shape, c.shape # (torch.Size([3]), torch.Size([3, 1]), torch.Size([1, 3]))a[:, None] 里的 None(也叫 torch.newaxis)表示"这里插一个新维度"。
操作 | 形状变化 |
|---|---|
|
|
|
|
| 去掉所有长度为 1 的维 |
| 去掉第 0 维(必须是 1) |
a.unsqueeze(0).shape # (1, 3) a.unsqueeze(1).shape # (3, 1) x = torch.randn(1, 3, 1) x.squeeze().shape # (3,)最常见的形状错误
模型的输入要 (N, D),你传了 (D,)。
单个样本也要加一维:x.unsqueeze(0) 变成 (1, D)。
广播规则
形状对不上的时候,PyTorch 不会立刻报错,它会先试着“广播”。 理解这套规则,你就知道哪些形状能算、哪些不能。
和 numpy 完全一样,三条:
维数不同时,在较小形状的左边补 1
从最后一维开始往前比,每维必须相等或其中一个为 1
为 1 的那一维会被"拉伸"到另一边的长度
(3, 4) + (4,) # ✓ → (3, 4) (3, 1) + (1, 4) # ✓ → (3, 4) (3,) + (4,) # ✗ 报错:3 和 4 不相等,也没有 1 torch.Size([3, 4]) + torch.Size([3]) # ✗ 3 vs 4 不匹配注意第二条是从后面往前比
(3, 4) 和 (3,):补成 (3, 4) 和 (1, 3), 最后一维 4 vs 3 不相等 → 报错。
想让 (3,) 按行广播,得写成 (3, 1)。
批量运算的典型写法
广播规则单独看很抽象。放进一个真实场景就清楚了。
X = torch.randn(5, 3) # 5 个样本,3 个特征 X.mean(dim=0) # shape (3,) 每列均值 X - X.mean(dim=0) # (5,3) - (3,) → 广播,每列减自己的均值 ✓ X.mean(dim=1) # shape (5,) 每行均值 X - X.mean(dim=1) # ✗ (5,3) - (5,) 报错 X - X.mean(dim=1, keepdim=True) # ✓ (5,3) - (5,1) → 广播keepdim=True 是救命的
X.mean(dim=1) 把第 1 维压掉了,形状变成 (5,)。
加 keepdim=True 后变成 (5, 1)——那一维还在,长度是 1。
凡是要拿聚合结果和原张量做运算,先想 keepdim。
设备:一套代码到处跑
形状对了,还有一半的错误来自设备——数据和模型不在同一块芯片上。
标准写法是先判断有没有 GPU,再把模型和数据都搬过去。
device = "cuda" if torch.cuda.is_available() else "cpu" print(device) # cuda 或 cpu model = model.to(device) # 模型搬过去(会搬所有参数) x = x.to(device) # 数据搬过去 y = y.to(device) # 之后所有计算都在同一设备上新张量默认在 CPU
torch.zeros(3).device # cpu torch.zeros(3, device=device).device # cuda:0 # 用其他张量的设备,避免写死 x = torch.zeros(3) y = torch.ones(3, device=x.device) # 跟着 x 走模型参数在哪
model = torch.nn.Linear(3, 2).to(device) next(model.parameters()).device # cuda:0 for p in model.parameters(): print(p.shape, p.device)设备错误的三种形态
知道怎么搬了,再看搬错了会报什么。这三种报错信息看起来不一样,根因是同一个。
报错 | 原因 |
|---|---|
| 一个张量在 GPU、一个在 CPU |
| 模型搬到 GPU 了,输入忘了搬 |
| GPU 上的张量不能直接 |
# 第三种的正确写法 x.cpu().numpy() # 先搬回 CPU x.detach().cpu().numpy() # 如果它带梯度,还要 detachdetach 是必须的
带梯度的张量不能直接转 numpy:Can't call numpy() on Tensor that requires grad
detach() 把它从计算图里摘出来,之后才能 .cpu().numpy()。
画图、打印、存盘之前都要这一句。
调试形状的手法
形状和设备的规则都讲完了。最后是实战:真出错时怎么查。
print(x.shape) # 最简单 print(x.shape, x.dtype, x.device) # 三个一起看 # 在模型里插检查 def forward(self, x): print("输入", x.shape) x = self.conv(x) print("卷积后", x.shape) return x报形状错误时,最有效的是从输入开始,一层一层把形状打出来,看是哪一层变错了。
常见坑
这一章出现过的错误汇总成一张表,出问题时直接对。
坑 | 正确做法 |
|---|---|
单样本忘了加 batch 维 |
|
聚合后直接相减 | 加 |
模型在 GPU、数据在 CPU | 两边都 |
|
|
用 | 用 |
整数张量求导 |
|
下一课
形状和设备都清楚了。下一课是习题,把这一章的两个本领用一遍。