什么是迁移学习

这一课在哪

第 31 章把 ResNet 搭出来,用 1000 张图训到 98%。看起来挺好。

但真实情况是:你手上永远没有足够的数据。

场景

能有多少张图

Kaggle 比赛

几万到几百万

公司的一个真实项目

几百到几千

垂直领域(医疗、工业质检)

几十张

这一章讲一个办法,让几百张图也能训出能用的模型。

核心想法:借别人的模型

从零训一个 CNN,网络要先学会「什么是边缘」,再学会「什么是纹理」, 最后才学会「什么是猫耳朵」。

前两件事跟具体任务无关——边缘和纹理在所有图像里都长一样。

一句话

把别人在几百万张图上学会的「看图的通用能力」拿过来,只训练最后一小段。

这就叫迁移学习(transfer learning)。

为什么能迁

看 CNN 学到的特征在不同层是什么样子:

层

学到什么

和任务有关吗

第 1~2 层

边缘、颜色块

无关

中间层

纹理、简单形状

几乎无关

深层

物体部件(眼睛、轮子)

开始有关

最后几层

「这是猫还是狗」

完全有关

所以:前面的层可以直接用,后面的层要重新学。

这个观察是有实验支撑的

把在 ImageNet 上训好的网络,只保留前几层、后面换成随机初始化, 在小数据集上照样能训得很好。

反过来——只保留最后几层,前面的随机初始化——效果会崩。

说明前面的层学到的确实是通用的东西。

预训练模型从哪来

别人已经替你训好了。PyTorch 里一行就能拿到:

from torchvision import models net = models.resnet18(weights=models.ResNet18_Weights.DEFAULT) print(sum(p.numel() for p in net.parameters())) # 11,689,512

weights=DEFAULT 的意思:下载官方在 ImageNet 上训好的权重。

值

下载什么

None

不下载,随机初始化

DEFAULT

效果最好的那版权重

第一次会下载,之后走缓存

ResNet18 的权重文件 44.7 MB,第一次调用时下载。

之后存在 ~/.cache/torch/hub/checkpoints/,不会重复下。

常见的预训练模型

名字

层数

参数量

特点

resnet18

18

11.7M

快,小数据集首选

resnet50

50

25.6M

更准,慢一倍

efficientnet_b0

—

5.3M

参数少、效果好

mobilenet_v3_small

—

2.5M

给手机用的

vit_b_16

—

86M

Transformer,需要更多数据

一行换一个,接口完全一样:

import torchvision.models as models for name in ["resnet18", "resnet50", "efficientnet_b0", "mobilenet_v3_small"]: net = getattr(models, name)(weights="DEFAULT") n = sum(p.numel() for p in net.parameters()) print(f"{name:<22} {n:>12,}")

这些模型都是在什么上训的

绝大多数是 ImageNet:1000 类、128 万张图。

数据集

类别

张数

用在哪

ImageNet

1000

128 万

图像分类的默认起点

COCO

80

33 万

检测、分割

CLIP

—

4 亿对(图+文)

图文对齐,零样本分类

为什么 ImageNet 这么重要

它涵盖了 1000 种常见物体——猫狗、汽车、家具、食物……

在这些图上学会的特征,对绝大多数视觉任务都有用。

这就是为什么「找个 ImageNet 预训练模型」几乎是所有视觉项目的第一步。

迁移学习具体做什么

三步:

步

做什么

为什么

①

拿一个预训练模型

省掉几百万张图和几十小时训练

②

把最后一层换掉

原来的 1000 类对你要的 2 类没用

③

在新数据上再训几轮

让模型适应你的任务

第 ② 步的代码就一行:

import torch.nn as nn import torchvision.models as models net = models.resnet18(weights=models.ResNet18_Weights.DEFAULT) print(net.fc) # Linear(in_features=512, out_features=1000, bias=True) net.fc = nn.Linear(in_features=512, out_features=2) print(net.fc) # Linear(in_features=512, out_features=2, bias=True)

只换了最后那一层,前面 20 层原样保留。

三种做法

第 ③ 步「再训几轮」有三种力度:

做法

训哪些层

什么时候用

只训最后一层

只有 fc

数据很少(几百张)、和 ImageNet 很像

训最后几层

layer4 + fc

数据中等(几千张)

全部训

整个网络

数据多、或者和 ImageNet 差很远(医学影像)

数据越少,训的层越少

700 张图去调 1100 万个参数,一定会过拟合。

所以数据少的时候要「冻结」——把大部分层的参数锁死,一个都不许变。

怎么冻结、冻哪些,是下一课的内容。

这一课留下的三个数

数

值

含义

ImageNet

1000 类 / 128 万张

预训练权重的来源

ResNet18 参数

11,689,512

其中最后一层占 513,000

权重文件

44.7 MB

第一次下载,之后走缓存

下一课

知道要冻结了。下一课讲具体怎么冻结—— requires_grad 是什么、冻哪些层、学习率怎么设。