三层的形状:输入层、隐藏层、输出层

一层会把 3 个数变成 3 个数。真实网络是好几层叠起来,每层维度不同。

一个 MNIST 网络长什么样

图里每层只画了几个圆,实际是 784 / 128 / 10 个。第一维(样本数)从头到尾不变

每一根线都代表一个权重。784×128 = 100352 根线——画不下,所以图上只画了几根。

层

名字

神经元数

谁决定

第 0 层

输入层

784

数据本身(28×28 像素)

第 1 层

隐藏层

128

你选的

第 2 层

输出层

10

任务决定(10 个类别)

输入层不算一层

说"这个网络有几层"时,不数输入层。

上面那个叫两层网络(2 个带权重的层),或者叫"一个隐藏层的网络"。

数据怎么一路流过去

以 64 个样本为一批:

(64, 784) │ 第 1 层:Linear(784 → 128) ▼ (64, 128) │ ReLU:形状不变 ▼ (64, 128) │ 第 2 层:Linear(128 → 10) ▼ (64, 10) ← 64 个样本,每个 10 个分数

唯一变化的是最后一维(特征数),第一维(样本数)从头到尾都是 64。

逐层看

层

输入形状

输出形状

发生了什么

Flatten

(64,1,28,28)

(64,784)

把 28×28 拉平成一维

Linear(784,128)

(64,784)

(64,128)

784×128 的矩阵乘

ReLU

(64,128)

(64,128)

负数变 0,形状不变

Linear(128,10)

(64,128)

(64,10)

128×10 的矩阵乘

每个数是什么

最后输出 (64, 10)。取其中一行看:

[ 0.3, -1.2, 0.8, 2.1, -0.5, 0.1, 0.9, -2.0, 0.2, 1.4 ] 0 1 2 3 4 5 6 7 8 9 ← 类别

这 10 个数叫 logits(未归一化的分数)。 最大的那个位置就是模型猜的类别。

这一行里最大的数是 2.1,在第 3 位,所以模型猜"数字 3"。

logits = torch.randn(64, 10) pred = logits.argmax(dim=1) # 每行最大值的下标 print(pred.shape) # torch.Size([64])

不是概率,不用自己加 softmax

logits 可以是负数、可以大于 1、加起来不等于 1。

要概率的话用 softmax。但训练时不要加—— CrossEntropyLoss 内部已经做了,加了等于做两次。

第 22 课会细讲。

隐藏层在做什么

这是最容易被跳过的一句话:

隐藏层的 128 个数,是模型自己发明的 128 个特征。

原始输入是 784 个像素。人能看懂"这里有一条横线"「那里有个圈」,但那需要人工设计。

隐藏层做的事是:学出一组新的、对分类更有用的表示, 然后输出层用这 128 个新特征做最后一次判断。

输入层看到的

隐藏层学到的

是什么

784 个像素亮度

128 个抽象特征

谁设计的

数据本身

训练出来的

人能不能解释

能("第 5 行第 3 列多亮")

通常不能

层数多了会怎样

加一个隐藏层:

784 → 256 → 128 → 10

对应的形状变化:

(64,784) → (64,256) → (64,128) → (64,10)

参数量变化:

结构

参数量

784 → 10

7850

784 → 128 → 10

100480 + 1290 = 101770

784 → 256 → 128 → 10

200960 + 32896 + 1290 = 235146

加一层,参数翻一倍多。

一次看清形状

import torch, torch.nn as nn model = nn.Sequential( nn.Flatten(), nn.Linear(784, 128), nn.ReLU(), nn.Linear(128, 10), ) x = torch.randn(64, 1, 28, 28) for layer in model: x = layer(x) print(f"{layer.__class__.__name__:12} 输出 {tuple(x.shape)}")

输出:

Flatten 输出 (64, 784) Linear 输出 (64, 128) ReLU 输出 (64, 128) Linear 输出 (64, 10)

这个技巧很实用

搭网络时形状对不上,就把这段抄过去跑一遍,一眼看出是哪一层变的。

比读报错信息快得多。

常见形状错误

报错

原因

mat1 and mat2 shapes cannot be multiplied (64x784 and 128x10)

忘了 Flatten,或维度顺序写反了

Input has 3 channels but expected 1

MNIST 是灰度图(1 通道),彩色图是 3

Expected 2D input, got 1D

单个样本少了 batch 维,加 unsqueeze(0)

下一课

形状清楚了。下一课把整个网络每个数都手算一遍, 包括一次完整的代价函数计算。