三层的形状:输入层、隐藏层、输出层
一层会把 3 个数变成 3 个数。真实网络是好几层叠起来,每层维度不同。
一个 MNIST 网络长什么样
每一根线都代表一个权重。784×128 = 100352 根线——画不下,所以图上只画了几根。
层 | 名字 | 神经元数 | 谁决定 |
|---|---|---|---|
第 0 层 | 输入层 | 784 | 数据本身(28×28 像素) |
第 1 层 | 隐藏层 | 128 | 你选的 |
第 2 层 | 输出层 | 10 | 任务决定(10 个类别) |
输入层不算一层
说"这个网络有几层"时,不数输入层。
上面那个叫两层网络(2 个带权重的层),或者叫"一个隐藏层的网络"。
数据怎么一路流过去
以 64 个样本为一批:
(64, 784) │ 第 1 层:Linear(784 → 128) ▼ (64, 128) │ ReLU:形状不变 ▼ (64, 128) │ 第 2 层:Linear(128 → 10) ▼ (64, 10) ← 64 个样本,每个 10 个分数唯一变化的是最后一维(特征数),第一维(样本数)从头到尾都是 64。
逐层看
层 | 输入形状 | 输出形状 | 发生了什么 |
|---|---|---|---|
| (64,1,28,28) | (64,784) | 把 28×28 拉平成一维 |
| (64,784) | (64,128) | 784×128 的矩阵乘 |
| (64,128) | (64,128) | 负数变 0,形状不变 |
| (64,128) | (64,10) | 128×10 的矩阵乘 |
每个数是什么
最后输出 (64, 10)。取其中一行看:
[ 0.3, -1.2, 0.8, 2.1, -0.5, 0.1, 0.9, -2.0, 0.2, 1.4 ] 0 1 2 3 4 5 6 7 8 9 ← 类别这 10 个数叫 logits(未归一化的分数)。 最大的那个位置就是模型猜的类别。
这一行里最大的数是 2.1,在第 3 位,所以模型猜"数字 3"。
logits = torch.randn(64, 10) pred = logits.argmax(dim=1) # 每行最大值的下标 print(pred.shape) # torch.Size([64])不是概率,不用自己加 softmax
logits 可以是负数、可以大于 1、加起来不等于 1。
要概率的话用 softmax。但训练时不要加—— CrossEntropyLoss 内部已经做了,加了等于做两次。
第 22 课会细讲。
隐藏层在做什么
这是最容易被跳过的一句话:
隐藏层的 128 个数,是模型自己发明的 128 个特征。
原始输入是 784 个像素。人能看懂"这里有一条横线"「那里有个圈」,但那需要人工设计。
隐藏层做的事是:学出一组新的、对分类更有用的表示, 然后输出层用这 128 个新特征做最后一次判断。
输入层看到的 | 隐藏层学到的 | |
|---|---|---|
是什么 | 784 个像素亮度 | 128 个抽象特征 |
谁设计的 | 数据本身 | 训练出来的 |
人能不能解释 | 能("第 5 行第 3 列多亮") | 通常不能 |
层数多了会怎样
加一个隐藏层:
784 → 256 → 128 → 10对应的形状变化:
(64,784) → (64,256) → (64,128) → (64,10)参数量变化:
结构 | 参数量 |
|---|---|
784 → 10 | 7850 |
784 → 128 → 10 | 100480 + 1290 = 101770 |
784 → 256 → 128 → 10 | 200960 + 32896 + 1290 = 235146 |
加一层,参数翻一倍多。
一次看清形状
import torch, torch.nn as nn model = nn.Sequential( nn.Flatten(), nn.Linear(784, 128), nn.ReLU(), nn.Linear(128, 10), ) x = torch.randn(64, 1, 28, 28) for layer in model: x = layer(x) print(f"{layer.__class__.__name__:12} 输出 {tuple(x.shape)}")输出:
Flatten 输出 (64, 784) Linear 输出 (64, 128) ReLU 输出 (64, 128) Linear 输出 (64, 10)这个技巧很实用
搭网络时形状对不上,就把这段抄过去跑一遍,一眼看出是哪一层变的。
比读报错信息快得多。
常见形状错误
报错 | 原因 |
|---|---|
| 忘了 |
| MNIST 是灰度图(1 通道),彩色图是 3 |
| 单个样本少了 batch 维,加 |
下一课
形状清楚了。下一课把整个网络每个数都手算一遍, 包括一次完整的代价函数计算。