什么是迁移学习
这一课在哪
第 31 章把 ResNet 搭出来,用 1000 张图训到 98%。看起来挺好。
但真实情况是:你手上永远没有足够的数据。
场景 | 能有多少张图 |
|---|---|
Kaggle 比赛 | 几万到几百万 |
公司的一个真实项目 | 几百到几千 |
垂直领域(医疗、工业质检) | 几十张 |
这一章讲一个办法,让几百张图也能训出能用的模型。
核心想法:借别人的模型
从零训一个 CNN,网络要先学会「什么是边缘」,再学会「什么是纹理」, 最后才学会「什么是猫耳朵」。
前两件事跟具体任务无关——边缘和纹理在所有图像里都长一样。
一句话
把别人在几百万张图上学会的「看图的通用能力」拿过来,只训练最后一小段。
这就叫迁移学习(transfer learning)。
为什么能迁
看 CNN 学到的特征在不同层是什么样子:
层 | 学到什么 | 和任务有关吗 |
|---|---|---|
第 1~2 层 | 边缘、颜色块 | 无关 |
中间层 | 纹理、简单形状 | 几乎无关 |
深层 | 物体部件(眼睛、轮子) | 开始有关 |
最后几层 | 「这是猫还是狗」 | 完全有关 |
所以:前面的层可以直接用,后面的层要重新学。
这个观察是有实验支撑的
把在 ImageNet 上训好的网络,只保留前几层、后面换成随机初始化, 在小数据集上照样能训得很好。
反过来——只保留最后几层,前面的随机初始化——效果会崩。
说明前面的层学到的确实是通用的东西。
预训练模型从哪来
别人已经替你训好了。PyTorch 里一行就能拿到:
from torchvision import models net = models.resnet18(weights=models.ResNet18_Weights.DEFAULT) print(sum(p.numel() for p in net.parameters())) # 11,689,512weights=DEFAULT 的意思:下载官方在 ImageNet 上训好的权重。
值 | 下载什么 |
|---|---|
| 不下载,随机初始化 |
| 效果最好的那版权重 |
第一次会下载,之后走缓存
ResNet18 的权重文件 44.7 MB,第一次调用时下载。
之后存在 ~/.cache/torch/hub/checkpoints/,不会重复下。
常见的预训练模型
名字 | 层数 | 参数量 | 特点 |
|---|---|---|---|
| 18 | 11.7M | 快,小数据集首选 |
| 50 | 25.6M | 更准,慢一倍 |
| — | 5.3M | 参数少、效果好 |
| — | 2.5M | 给手机用的 |
| — | 86M | Transformer,需要更多数据 |
一行换一个,接口完全一样:
import torchvision.models as models for name in ["resnet18", "resnet50", "efficientnet_b0", "mobilenet_v3_small"]: net = getattr(models, name)(weights="DEFAULT") n = sum(p.numel() for p in net.parameters()) print(f"{name:<22} {n:>12,}")这些模型都是在什么上训的
绝大多数是 ImageNet:1000 类、128 万张图。
数据集 | 类别 | 张数 | 用在哪 |
|---|---|---|---|
ImageNet | 1000 | 128 万 | 图像分类的默认起点 |
COCO | 80 | 33 万 | 检测、分割 |
CLIP | — | 4 亿对(图+文) | 图文对齐,零样本分类 |
为什么 ImageNet 这么重要
它涵盖了 1000 种常见物体——猫狗、汽车、家具、食物……
在这些图上学会的特征,对绝大多数视觉任务都有用。
这就是为什么「找个 ImageNet 预训练模型」几乎是所有视觉项目的第一步。
迁移学习具体做什么
三步:
步 | 做什么 | 为什么 |
|---|---|---|
① | 拿一个预训练模型 | 省掉几百万张图和几十小时训练 |
② | 把最后一层换掉 | 原来的 1000 类对你要的 2 类没用 |
③ | 在新数据上再训几轮 | 让模型适应你的任务 |
第 ② 步的代码就一行:
import torch.nn as nn import torchvision.models as models net = models.resnet18(weights=models.ResNet18_Weights.DEFAULT) print(net.fc) # Linear(in_features=512, out_features=1000, bias=True) net.fc = nn.Linear(in_features=512, out_features=2) print(net.fc) # Linear(in_features=512, out_features=2, bias=True)只换了最后那一层,前面 20 层原样保留。
三种做法
第 ③ 步「再训几轮」有三种力度:
做法 | 训哪些层 | 什么时候用 |
|---|---|---|
只训最后一层 | 只有 | 数据很少(几百张)、和 ImageNet 很像 |
训最后几层 |
| 数据中等(几千张) |
全部训 | 整个网络 | 数据多、或者和 ImageNet 差很远(医学影像) |
数据越少,训的层越少
700 张图去调 1100 万个参数,一定会过拟合。
所以数据少的时候要「冻结」——把大部分层的参数锁死,一个都不许变。
怎么冻结、冻哪些,是下一课的内容。
这一课留下的三个数
数 | 值 | 含义 |
|---|---|---|
ImageNet | 1000 类 / 128 万张 | 预训练权重的来源 |
ResNet18 参数 | 11,689,512 | 其中最后一层占 513,000 |
权重文件 | 44.7 MB | 第一次下载,之后走缓存 |
下一课
知道要冻结了。下一课讲具体怎么冻结—— requires_grad 是什么、冻哪些层、学习率怎么设。