Dataset:__len__ 与 __getitem__

模型要的是张量,硬盘上的是文件。 Dataset 就是中间那层:告诉 PyTorch "我有多少个样本,第 i 个长什么样"。

只要两个方法

from torch.utils.data import Dataset class MyDataset(Dataset): def __len__(self): return 样本总数 # 整数 def __getitem__(self, idx): return 一个样本 # 第 idx 个 

就这两条。写完就能交给 DataLoader 了。

方法

回答什么问题

__len__

"一共有多少样本?"

__getitem__

"第 idx 个是什么?"

最小的例子:从内存里的数组做

import torch from torch.utils.data import Dataset class ArrayDataset(Dataset): def __init__(self, X, y): self.X = X self.y = y def __len__(self): return len(self.X) def __getitem__(self, idx): return self.X[idx], self.y[idx] ds = ArrayDataset(torch.randn(100, 5), torch.randint(0, 2, (100,))) len(ds) # 100 ds[0] # (tensor([...]), tensor(0)) ds[0][0].shape # torch.Size([5])

返回的是什么

__getitem__ 返回一个样本,不是一批。

分类任务通常返回 (特征, 标签) 二元组。

批是 DataLoader 负责拼的,下一课讲。

从文件读:真正的用法

上面那个数据集的数据本来就在内存里,没什么说服力。真实场景是从硬盘读。

真实数据在硬盘上。关键原则:__getitem__ 只读这一条,不要一次读全部。

from pathlib import Path from PIL import Image import torch from torch.utils.data import Dataset class ImageDataset(Dataset): def __init__(self, root, transform=None): self.files = sorted(Path(root).glob("*.jpg")) self.transform = transform def __len__(self): return len(self.files) def __getitem__(self, idx): path = self.files[idx] img = Image.open(path).convert("RGB") label = int(path.stem.split("_")[-1]) # 文件名里带标签 if self.transform: img = self.transform(img) return img, label

不要在 __init__ 里把所有图片读进内存

一万张 224×224 的图,读进内存要 1.4 GB,而且启动就卡住。

正确做法:__init__ 只记文件路径, 真正读在 __getitem__ 里,而且只读当前这一张。

为什么这样也够快

因为 DataLoader 会开多个进程同时调 __getitem__。 读第 3 张卡住的时候,别的进程在读第 4、5 张。

官方内置数据集

自己写 Dataset 之前,先看要用的数据集有没有现成的——常见的基本都有。

常见的不用自己写:

from torchvision import datasets, transforms tf = transforms.Compose([ transforms.ToTensor(), transforms.Normalize((0.1307,), (0.3081,)), ]) train = datasets.MNIST("./data", train=True, download=True, transform=tf) test = datasets.MNIST("./data", train=False, transform=tf) len(train) # 60000 train[0][0].shape # torch.Size([1, 28, 28]) train[0][1] # 标签,一个整数

数据集

内容

规模

MNIST

手写数字

60000 / 10000

FashionMNIST

服饰(比 MNIST 难)

60000 / 10000

CIFAR10

10 类彩色小图 32×32

50000 / 10000

transform:读出来之后自动加工

Dataset 交出来的是 PIL 图片,模型要的是张量。这中间那一步就是 transform。

数据集给的是 PIL 图片,模型要的是张量。中间那一步就是 transform。

from torchvision import transforms tf = transforms.Compose([ transforms.ToTensor(), # PIL → 张量,并把像素从 0-255 压到 0-1 transforms.Normalize((0.1307,), (0.3081,)), # 减均值除标准差 ])

ToTensor 不只是转类型

ToTensor() 做了三件事:

  1. PIL / numpy → torch.Tensor

  2. 形状从 HWC 变成 CHW

  3. 像素值从 0-255 归一化到 0-1

忘了它,网络收到的是 0-255 的整数,训练会完全失控。

Normalize 的两个数从哪来

transforms.Normalize(mean, std) # 每个通道一个数

MNIST 用 (0.1307,) 和 (0.3081,),是全部训练集算出来的均值标准差。

自己的数据要自己算:

# 把训练集跑一遍,统计每个通道的 mean 和 std

训练集和验证集的 transform 不一样

transform 不止是格式转换,还能做数据增强。但增强只该加在训练集上。

train_tf = transforms.Compose([ transforms.RandomHorizontalFlip(), # 数据增强,只在训练时 transforms.RandomRotation(10), transforms.ToTensor(), transforms.Normalize(...), ]) test_tf = transforms.Compose([ transforms.ToTensor(), # 验证集不做增强 transforms.Normalize(...), ])

增强只加在训练集上。验证集要衡量真实表现,不能人为改数据。

三个常见坑

Dataset 写起来只有两个方法,但这三处错了都很难查。

坑

后果

忘了 __len__

TypeError: object has no len()

__getitem__ 返回的不是张量

DataLoader 拼批时报错

在 __init__ 里读全部数据

内存爆、启动慢

# 写完先手动检查 ds = MyDataset(...) print(len(ds)) x, y = ds[0] print(x.shape, x.dtype, y)

这两行能过,Dataset 基本就对了。

下一课

有了 Dataset,下一课用 DataLoader 把它变成一批一批的数据, 并让它多进程并行读取。