形状、广播与设备

深度学习里 80% 的报错都是形状不对。这一课把形状规则一次说清。

形状要念出来

报错信息里全是形状,看不懂形状就读不懂报错。先学会把它读成人话。

看到 torch.Size([32, 3, 224, 224]),不要读"三十二三二二四二二四", 要读"32 张 3 通道 224×224 的图"。

形状

含义

(N,)

N 个标量(一维)

(N, D)

N 个样本,每个 D 个特征

(N, C, H, W)

N 张图,C 通道,高 H 宽 W

(N, T, D)

N 个句子,每句 T 个词,每词 D 维

PyTorch 的图像是 NCHW

PyTorch 用 NCHW(批、通道、高、宽)。

TensorFlow 和很多图像库用的是 NHWC。混着用就会把通道当成高度。

(3,) 和 (3,1) 不是一回事

a = torch.tensor([1., 2., 3.]) # shape (3,) b = a[:, None] # shape (3, 1) c = a[None, :] # shape (1, 3) a.shape, b.shape, c.shape # (torch.Size([3]), torch.Size([3, 1]), torch.Size([1, 3]))

a[:, None] 里的 None(也叫 torch.newaxis)表示"这里插一个新维度"。

操作

形状变化

a.unsqueeze(0)

(3,) → (1, 3)

a.unsqueeze(1)

(3,) → (3, 1)

a.squeeze()

去掉所有长度为 1 的维

a.squeeze(0)

去掉第 0 维(必须是 1)

a.unsqueeze(0).shape # (1, 3) a.unsqueeze(1).shape # (3, 1) x = torch.randn(1, 3, 1) x.squeeze().shape # (3,)

最常见的形状错误

模型的输入要 (N, D),你传了 (D,)。

单个样本也要加一维:x.unsqueeze(0) 变成 (1, D)。

广播规则

形状对不上的时候,PyTorch 不会立刻报错,它会先试着“广播”。 理解这套规则,你就知道哪些形状能算、哪些不能。

和 numpy 完全一样,三条:

  1. 维数不同时,在较小形状的左边补 1

  2. 从最后一维开始往前比,每维必须相等或其中一个为 1

  3. 为 1 的那一维会被"拉伸"到另一边的长度

(3, 4) + (4,) # ✓ → (3, 4) (3, 1) + (1, 4) # ✓ → (3, 4) (3,) + (4,) # ✗ 报错:3 和 4 不相等,也没有 1 torch.Size([3, 4]) + torch.Size([3]) # ✗ 3 vs 4 不匹配

注意第二条是从后面往前比

(3, 4) 和 (3,):补成 (3, 4) 和 (1, 3), 最后一维 4 vs 3 不相等 → 报错。

想让 (3,) 按行广播,得写成 (3, 1)。

批量运算的典型写法

广播规则单独看很抽象。放进一个真实场景就清楚了。

X = torch.randn(5, 3) # 5 个样本,3 个特征 X.mean(dim=0) # shape (3,) 每列均值 X - X.mean(dim=0) # (5,3) - (3,) → 广播,每列减自己的均值 ✓ X.mean(dim=1) # shape (5,) 每行均值 X - X.mean(dim=1) # ✗ (5,3) - (5,) 报错 X - X.mean(dim=1, keepdim=True) # ✓ (5,3) - (5,1) → 广播

keepdim=True 是救命的

X.mean(dim=1) 把第 1 维压掉了,形状变成 (5,)。

加 keepdim=True 后变成 (5, 1)——那一维还在,长度是 1。

凡是要拿聚合结果和原张量做运算,先想 keepdim。

设备:一套代码到处跑

形状对了,还有一半的错误来自设备——数据和模型不在同一块芯片上。

标准写法是先判断有没有 GPU,再把模型和数据都搬过去。

device = "cuda" if torch.cuda.is_available() else "cpu" print(device) # cuda 或 cpu model = model.to(device) # 模型搬过去(会搬所有参数) x = x.to(device) # 数据搬过去 y = y.to(device) # 之后所有计算都在同一设备上

新张量默认在 CPU

torch.zeros(3).device # cpu torch.zeros(3, device=device).device # cuda:0 # 用其他张量的设备,避免写死 x = torch.zeros(3) y = torch.ones(3, device=x.device) # 跟着 x 走

模型参数在哪

model = torch.nn.Linear(3, 2).to(device) next(model.parameters()).device # cuda:0 for p in model.parameters(): print(p.shape, p.device)

设备错误的三种形态

知道怎么搬了,再看搬错了会报什么。这三种报错信息看起来不一样,根因是同一个。

报错

原因

Expected all tensors to be on the same device, but found cuda:0 and cpu

一个张量在 GPU、一个在 CPU

Input type (torch.FloatTensor) and weight type (torch.cuda.FloatTensor) should be the same

模型搬到 GPU 了,输入忘了搬

can't convert cuda:0 device type tensor to numpy

GPU 上的张量不能直接 .numpy()

# 第三种的正确写法 x.cpu().numpy() # 先搬回 CPU x.detach().cpu().numpy() # 如果它带梯度,还要 detach

detach 是必须的

带梯度的张量不能直接转 numpy:Can't call numpy() on Tensor that requires grad

detach() 把它从计算图里摘出来,之后才能 .cpu().numpy()。

画图、打印、存盘之前都要这一句。

调试形状的手法

形状和设备的规则都讲完了。最后是实战:真出错时怎么查。

print(x.shape) # 最简单 print(x.shape, x.dtype, x.device) # 三个一起看 # 在模型里插检查 def forward(self, x): print("输入", x.shape) x = self.conv(x) print("卷积后", x.shape) return x

报形状错误时,最有效的是从输入开始,一层一层把形状打出来,看是哪一层变错了。

常见坑

这一章出现过的错误汇总成一张表,出问题时直接对。

坑

正确做法

单样本忘了加 batch 维

x.unsqueeze(0)

聚合后直接相减

加 keepdim=True

模型在 GPU、数据在 CPU

两边都 .to(device)

.numpy() 报错

.detach().cpu().numpy()

用 * 当矩阵乘

用 @ 或 matmul

整数张量求导

.float() 先转浮点

下一课

形状和设备都清楚了。下一课是习题,把这一章的两个本领用一遍。