Dataset:__len__ 与 __getitem__
模型要的是张量,硬盘上的是文件。 Dataset 就是中间那层:告诉 PyTorch "我有多少个样本,第 i 个长什么样"。
只要两个方法
from torch.utils.data import Dataset class MyDataset(Dataset): def __len__(self): return 样本总数 # 整数 def __getitem__(self, idx): return 一个样本 # 第 idx 个 就这两条。写完就能交给 DataLoader 了。
方法 | 回答什么问题 |
|---|---|
| "一共有多少样本?" |
| "第 |
最小的例子:从内存里的数组做
import torch from torch.utils.data import Dataset class ArrayDataset(Dataset): def __init__(self, X, y): self.X = X self.y = y def __len__(self): return len(self.X) def __getitem__(self, idx): return self.X[idx], self.y[idx] ds = ArrayDataset(torch.randn(100, 5), torch.randint(0, 2, (100,))) len(ds) # 100 ds[0] # (tensor([...]), tensor(0)) ds[0][0].shape # torch.Size([5])返回的是什么
__getitem__ 返回一个样本,不是一批。
分类任务通常返回 (特征, 标签) 二元组。
批是 DataLoader 负责拼的,下一课讲。
从文件读:真正的用法
上面那个数据集的数据本来就在内存里,没什么说服力。真实场景是从硬盘读。
真实数据在硬盘上。关键原则:__getitem__ 只读这一条,不要一次读全部。
from pathlib import Path from PIL import Image import torch from torch.utils.data import Dataset class ImageDataset(Dataset): def __init__(self, root, transform=None): self.files = sorted(Path(root).glob("*.jpg")) self.transform = transform def __len__(self): return len(self.files) def __getitem__(self, idx): path = self.files[idx] img = Image.open(path).convert("RGB") label = int(path.stem.split("_")[-1]) # 文件名里带标签 if self.transform: img = self.transform(img) return img, label不要在 __init__ 里把所有图片读进内存
一万张 224×224 的图,读进内存要 1.4 GB,而且启动就卡住。
正确做法:__init__ 只记文件路径, 真正读在 __getitem__ 里,而且只读当前这一张。
为什么这样也够快
因为 DataLoader 会开多个进程同时调 __getitem__。 读第 3 张卡住的时候,别的进程在读第 4、5 张。
官方内置数据集
自己写 Dataset 之前,先看要用的数据集有没有现成的——常见的基本都有。
常见的不用自己写:
from torchvision import datasets, transforms tf = transforms.Compose([ transforms.ToTensor(), transforms.Normalize((0.1307,), (0.3081,)), ]) train = datasets.MNIST("./data", train=True, download=True, transform=tf) test = datasets.MNIST("./data", train=False, transform=tf) len(train) # 60000 train[0][0].shape # torch.Size([1, 28, 28]) train[0][1] # 标签,一个整数数据集 | 内容 | 规模 |
|---|---|---|
| 手写数字 | 60000 / 10000 |
| 服饰(比 MNIST 难) | 60000 / 10000 |
| 10 类彩色小图 32×32 | 50000 / 10000 |
transform:读出来之后自动加工
Dataset 交出来的是 PIL 图片,模型要的是张量。这中间那一步就是 transform。
数据集给的是 PIL 图片,模型要的是张量。中间那一步就是 transform。
from torchvision import transforms tf = transforms.Compose([ transforms.ToTensor(), # PIL → 张量,并把像素从 0-255 压到 0-1 transforms.Normalize((0.1307,), (0.3081,)), # 减均值除标准差 ])ToTensor 不只是转类型
ToTensor() 做了三件事:
PIL / numpy →
torch.Tensor形状从 HWC 变成 CHW
像素值从
0-255归一化到0-1
忘了它,网络收到的是 0-255 的整数,训练会完全失控。
Normalize 的两个数从哪来
transforms.Normalize(mean, std) # 每个通道一个数MNIST 用 (0.1307,) 和 (0.3081,),是全部训练集算出来的均值标准差。
自己的数据要自己算:
# 把训练集跑一遍,统计每个通道的 mean 和 std训练集和验证集的 transform 不一样
transform 不止是格式转换,还能做数据增强。但增强只该加在训练集上。
train_tf = transforms.Compose([ transforms.RandomHorizontalFlip(), # 数据增强,只在训练时 transforms.RandomRotation(10), transforms.ToTensor(), transforms.Normalize(...), ]) test_tf = transforms.Compose([ transforms.ToTensor(), # 验证集不做增强 transforms.Normalize(...), ])增强只加在训练集上。验证集要衡量真实表现,不能人为改数据。
三个常见坑
Dataset 写起来只有两个方法,但这三处错了都很难查。
坑 | 后果 |
|---|---|
忘了 |
|
| DataLoader 拼批时报错 |
在 | 内存爆、启动慢 |
# 写完先手动检查 ds = MyDataset(...) print(len(ds)) x, y = ds[0] print(x.shape, x.dtype, y)这两行能过,Dataset 基本就对了。
下一课
有了 Dataset,下一课用 DataLoader 把它变成一批一批的数据, 并让它多进程并行读取。