习题

四道题:数参数、选冻结方案、踩坑、辨真假。

一、数可训练参数

ResNet18,最后分类头换成 10 类。四种冻结方案,填表:

方案

冻结

可训练参数

占总参数

A

全部卷积

B

stem~layer3

C

stem~layer2

D

不冻

import torch.nn as nn import torchvision.models as models def count_trainable(model): return sum(p.numel() for p in model.parameters() if p.requires_grad) def build(freeze_upto): net = models.resnet18(weights=models.ResNet18_Weights.DEFAULT) net.fc = nn.Linear(in_features=512, out_features=10) for param in net.parameters(): param.requires_grad = False sections = ["layer4", "layer3", "layer2", "layer1", "none"] if freeze_upto != "all": start = sections.index(freeze_upto) for name in ["layer4", "layer3", "layer2", "layer1"][:start]: for param in getattr(net, name).parameters(): param.requires_grad = True for param in net.fc.parameters(): param.requires_grad = True return net for name in ["all", "layer4", "layer3", "none"]: net = build(name) print(name, count_trainable(net))

二、选方案

下面四种场景,各选一个方案(A 只训头 / B 训最后一段 / C 训后两段 / D 全训),说理由:

场景

数据量

和 ImageNet 相似度

选

理由

猫狗二分类

700 张

很高

一种罕见皮肤病

300 张

很低(显微镜图)

100 种商品识别

5 万张

中

X 光片肺炎检测

2 万张

很低

三、这三个错在哪

# ① net = models.resnet18(weights="DEFAULT") net.fc = nn.Linear(512, 2) optimizer = torch.optim.Adam(net.parameters(), lr=1e-3) # ② net = models.resnet18(weights="DEFAULT") for p in net.parameters(): p.requires_grad = False net.fc = nn.Linear(512, 2) optimizer = torch.optim.Adam(net.parameters(), lr=1e-3) # ③ transform = transforms.Compose([ transforms.Resize((128, 128)), transforms.ToTensor(), transforms.Normalize((0.5, 0.5, 0.5), (0.5, 0.5, 0.5)), ]) net = models.resnet18(weights="DEFAULT")

#

问题

后果

①

②

③

四、辨真假

#

说法

对 / 错 + 理由

1

迁移学习只能用于图像任务

2

冻结之后参数会被删除,模型变小

3

数据越少,越应该多训几层

4

换了 net.fc 之后,新层默认是可训练的

5

预训练模型必须用 224×224 的输入

参考答案

一、数可训练参数

方案

可训练

占比

A 只训头

5,130

0.046%

B 训 layer4

8,395,786

75.1%

C 训 layer3+4

10,491,914

93.9%

D 全训

11,181,642

100%

A 的 5,130 是 512 × 10 + 10。

注意 B 一下子跳到 75%——因为 layer4 通道最多(512), 参数是通道数的平方。

二、选方案

场景

选

理由

猫狗 700 张

A

数据极少 + 和 ImageNet 极像(猫狗就是 ImageNet 的类别)

罕见皮肤病 300 张

A 或 C

数据太少只能 A;但如果显微镜图和自然图像差太远, 低层特征也不适用,可以试 C 并加重正则

商品识别 5 万张

D

数据足够多,全训不会过拟合,效果最好

X 光 2 万张

C 或 D

数据够,但域差很大,需要让更多层适应新数据

规律:数据越多、域差越大,就该训越多层。

三、三个错

#

问题

后果

①

没冻结

可以跑,但等于全训,700 张图会过拟合

②

优化器收了冻结的参数

不会报错,但多占显存;而且 optimizer.param_groups[0]['params'] 数量对不上, 很难调试

③

尺寸和标准化都错了

应该是 224×224 和 ImageNet 的 (0.485, 0.456, 0.406) / (0.229, 0.224, 0.225)。 用错不会报错,但准确率明显掉

①③ 是「不报错但效果差」的那类,最难查。跑之前先对一遍。

四、辨真假

#

答案

理由

1

错

NLP 里更常见——BERT、GPT 的预训练权重就是标准起点

2

错

参数还在、还能前向计算,只是不再更新

3

错

正好相反:数据少要少训几层,否则过拟合

4

对

新建的 nn.Linear 默认 requires_grad=True

5

基本对

严格说可以换尺寸(有全局池化),但和预训练时的分布差太远,效果会掉。 建议保持 224

下一章

到这里,图像部分告一段落。下一章换一个完全不同的数据类型: 序列——文字、语音、时间序列。

从 RNN 开始,一路走到 Transformer。