DataLoader:批、打乱、并行

它解决三件事

功能

为什么需要

分批

一次算全部样本显存装不下

打乱

不打乱模型会学到样本顺序

并行

读文件、做增强在 CPU,和 GPU 计算重叠

最小用法与参数表

from torch.utils.data import DataLoader loader = DataLoader(ds, batch_size=32, shuffle=True) for x, y in loader: print(x.shape, y.shape) break # torch.Size([32, 5]) torch.Size([32])

ds[0] 返回的是 (张量(5,), 标量), loader 一次给 32 个,自动拼成 (32, 5) 和 (32,)。

全部参数

参数

作用

建议

batch_size

每批几个

32 / 64 / 128,看显存

shuffle

每轮是否重新打乱

训练 True,验证 False

num_workers

几个子进程读数据

Windows 上从 0 开始试

drop_last

丢掉最后不满的一批

批归一化时设 True

pin_memory

锁页内存,传 GPU 更快

有 GPU 时 True

persistent_workers

复用子进程

配合 num_workers>0

collate_fn

自定义怎么拼批

变长序列时要用

timeout

等一批最多多久

大数据集时设

shuffle 为什么必须开

参数表里 shuffle 看起来只是个布尔值,但它能决定训练成不成。

# 数据按类别排好序:[0,0,0,...,1,1,1,...,2,2,2,...] loader = DataLoader(ds, batch_size=32, shuffle=False)

不打乱的话,前几十批全是 0 类,模型会先学会"全猜 0",然后突然全是 1 类, 梯度剧烈震荡,很难收敛。

验证集不要 shuffle

验证集打乱不影响指标,但会让结果不可复现,也让人对不上号。

DataLoader(test_ds, batch_size=64, shuffle=False)

num_workers:Windows 上的坑

num_workers 是参数表里最容易被低估的一个——设错了直接跑不起来。

loader = DataLoader(ds, batch_size=32, num_workers=4) # 报错:RuntimeError: An attempt has been made to start a new # process before the current process has finished its bootstrapping

Windows 用 spawn 而不是 fork 创建子进程,必须把训练代码放进 if __name__ == "__main__": 里。

def main(): loader = DataLoader(ds, batch_size=32, num_workers=4) for x, y in loader: ... if __name__ == "__main__": main()

num_workers 设多少

0 = 主进程读数据,简单但慢。

一般设成 CPU 核数的 1/4 到 1/2。不是越大越好——进程切换本身有开销。

在 Jupyter / 交互环境里建议先设 0,避免子进程报错难调试。

一个 epoch 有多少批

len(loader) # ceil(样本数 / batch_size)

1000 个样本、batch_size=32 → 32 批,最后一批只有 8 个。

drop_last=True 会丢掉这 8 个,变成 31 批。

什么时候要 drop_last

用了批归一化(BatchNorm)时,最后一批只有 1 个样本会让统计量失真,甚至报错。

其他情况保持 False,别白白丢数据。

训练和验证两个 loader

train_loader = DataLoader(train_ds, batch_size=64, shuffle=True, num_workers=2, pin_memory=True) test_loader = DataLoader(test_ds, batch_size=256, shuffle=False, num_workers=2, pin_memory=True)

训练

验证

batch_size

小(64)

大(256)

shuffle

True

False

原因

小批梯度噪声有助于泛化

大批快,且不更新参数

变长数据:collate_fn

句子长度不一样,没法直接拼成矩阵。要给个自定义拼法:

from torch.nn.utils.rnn import pad_sequence def collate(batch): xs, ys = zip(*batch) xs = pad_sequence(xs, batch_first=True, padding_value=0) return xs, torch.tensor(ys) loader = DataLoader(ds, batch_size=32, collate_fn=collate)

这个在第 33 课 Seq2Seq 里会正式用到。

把整个流程串起来

from torchvision import datasets, transforms from torch.utils.data import DataLoader tf = transforms.Compose([ transforms.ToTensor(), transforms.Normalize((0.1307,), (0.3081,)), ]) train_ds = datasets.MNIST("./data", train=True, download=True, transform=tf) test_ds = datasets.MNIST("./data", train=False, transform=tf) train_loader = DataLoader(train_ds, batch_size=64, shuffle=True) test_loader = DataLoader(test_ds, batch_size=256, shuffle=False) x, y = next(iter(train_loader)) print(x.shape, y.shape) # torch.Size([64, 1, 28, 28]) torch.Size([64])

下一课

数据管道通了。下一课是习题,自己写一个 Dataset 并接上 DataLoader。