习题
四道题:数参数、选冻结方案、踩坑、辨真假。
一、数可训练参数
ResNet18,最后分类头换成 10 类。四种冻结方案,填表:
方案 | 冻结 | 可训练参数 | 占总参数 |
|---|---|---|---|
A | 全部卷积 | ||
B | stem~layer3 | ||
C | stem~layer2 | ||
D | 不冻 |
import torch.nn as nn import torchvision.models as models def count_trainable(model): return sum(p.numel() for p in model.parameters() if p.requires_grad) def build(freeze_upto): net = models.resnet18(weights=models.ResNet18_Weights.DEFAULT) net.fc = nn.Linear(in_features=512, out_features=10) for param in net.parameters(): param.requires_grad = False sections = ["layer4", "layer3", "layer2", "layer1", "none"] if freeze_upto != "all": start = sections.index(freeze_upto) for name in ["layer4", "layer3", "layer2", "layer1"][:start]: for param in getattr(net, name).parameters(): param.requires_grad = True for param in net.fc.parameters(): param.requires_grad = True return net for name in ["all", "layer4", "layer3", "none"]: net = build(name) print(name, count_trainable(net))二、选方案
下面四种场景,各选一个方案(A 只训头 / B 训最后一段 / C 训后两段 / D 全训),说理由:
场景 | 数据量 | 和 ImageNet 相似度 | 选 | 理由 |
|---|---|---|---|---|
猫狗二分类 | 700 张 | 很高 | ||
一种罕见皮肤病 | 300 张 | 很低(显微镜图) | ||
100 种商品识别 | 5 万张 | 中 | ||
X 光片肺炎检测 | 2 万张 | 很低 |
三、这三个错在哪
# ① net = models.resnet18(weights="DEFAULT") net.fc = nn.Linear(512, 2) optimizer = torch.optim.Adam(net.parameters(), lr=1e-3) # ② net = models.resnet18(weights="DEFAULT") for p in net.parameters(): p.requires_grad = False net.fc = nn.Linear(512, 2) optimizer = torch.optim.Adam(net.parameters(), lr=1e-3) # ③ transform = transforms.Compose([ transforms.Resize((128, 128)), transforms.ToTensor(), transforms.Normalize((0.5, 0.5, 0.5), (0.5, 0.5, 0.5)), ]) net = models.resnet18(weights="DEFAULT")# | 问题 | 后果 |
|---|---|---|
① | ||
② | ||
③ |
四、辨真假
# | 说法 | 对 / 错 + 理由 |
|---|---|---|
1 | 迁移学习只能用于图像任务 | |
2 | 冻结之后参数会被删除,模型变小 | |
3 | 数据越少,越应该多训几层 | |
4 | 换了 | |
5 | 预训练模型必须用 224×224 的输入 |
参考答案
一、数可训练参数
方案 | 可训练 | 占比 |
|---|---|---|
A 只训头 | 5,130 | 0.046% |
B 训 layer4 | 8,395,786 | 75.1% |
C 训 layer3+4 | 10,491,914 | 93.9% |
D 全训 | 11,181,642 | 100% |
A 的 5,130 是 512 × 10 + 10。
注意 B 一下子跳到 75%——因为 layer4 通道最多(512), 参数是通道数的平方。
二、选方案
场景 | 选 | 理由 |
|---|---|---|
猫狗 700 张 | A | 数据极少 + 和 ImageNet 极像(猫狗就是 ImageNet 的类别) |
罕见皮肤病 300 张 | A 或 C | 数据太少只能 A;但如果显微镜图和自然图像差太远, 低层特征也不适用,可以试 C 并加重正则 |
商品识别 5 万张 | D | 数据足够多,全训不会过拟合,效果最好 |
X 光 2 万张 | C 或 D | 数据够,但域差很大,需要让更多层适应新数据 |
规律:数据越多、域差越大,就该训越多层。
三、三个错
# | 问题 | 后果 |
|---|---|---|
① | 没冻结 | 可以跑,但等于全训,700 张图会过拟合 |
② | 优化器收了冻结的参数 | 不会报错,但多占显存;而且 |
③ | 尺寸和标准化都错了 | 应该是 224×224 和 ImageNet 的 |
①③ 是「不报错但效果差」的那类,最难查。跑之前先对一遍。
四、辨真假
# | 答案 | 理由 |
|---|---|---|
1 | 错 | NLP 里更常见——BERT、GPT 的预训练权重就是标准起点 |
2 | 错 | 参数还在、还能前向计算,只是不再更新 |
3 | 错 | 正好相反:数据少要少训几层,否则过拟合 |
4 | 对 | 新建的 |
5 | 基本对 | 严格说可以换尺寸(有全局池化),但和预训练时的分布差太远,效果会掉。 建议保持 224 |
下一章
到这里,图像部分告一段落。下一章换一个完全不同的数据类型: 序列——文字、语音、时间序列。
从 RNN 开始,一路走到 Transformer。