DataLoader:批、打乱、并行
它解决三件事
功能 | 为什么需要 |
|---|---|
分批 | 一次算全部样本显存装不下 |
打乱 | 不打乱模型会学到样本顺序 |
并行 | 读文件、做增强在 CPU,和 GPU 计算重叠 |
最小用法与参数表
from torch.utils.data import DataLoader loader = DataLoader(ds, batch_size=32, shuffle=True) for x, y in loader: print(x.shape, y.shape) break # torch.Size([32, 5]) torch.Size([32])ds[0] 返回的是 (张量(5,), 标量), loader 一次给 32 个,自动拼成 (32, 5) 和 (32,)。
全部参数
参数 | 作用 | 建议 |
|---|---|---|
| 每批几个 | 32 / 64 / 128,看显存 |
| 每轮是否重新打乱 | 训练 True,验证 False |
| 几个子进程读数据 | Windows 上从 0 开始试 |
| 丢掉最后不满的一批 | 批归一化时设 True |
| 锁页内存,传 GPU 更快 | 有 GPU 时 True |
| 复用子进程 | 配合 |
| 自定义怎么拼批 | 变长序列时要用 |
| 等一批最多多久 | 大数据集时设 |
shuffle 为什么必须开
参数表里 shuffle 看起来只是个布尔值,但它能决定训练成不成。
# 数据按类别排好序:[0,0,0,...,1,1,1,...,2,2,2,...] loader = DataLoader(ds, batch_size=32, shuffle=False)不打乱的话,前几十批全是 0 类,模型会先学会"全猜 0",然后突然全是 1 类, 梯度剧烈震荡,很难收敛。
验证集不要 shuffle
验证集打乱不影响指标,但会让结果不可复现,也让人对不上号。
DataLoader(test_ds, batch_size=64, shuffle=False)
num_workers:Windows 上的坑
num_workers 是参数表里最容易被低估的一个——设错了直接跑不起来。
loader = DataLoader(ds, batch_size=32, num_workers=4) # 报错:RuntimeError: An attempt has been made to start a new # process before the current process has finished its bootstrappingWindows 用 spawn 而不是 fork 创建子进程,必须把训练代码放进 if __name__ == "__main__": 里。
def main(): loader = DataLoader(ds, batch_size=32, num_workers=4) for x, y in loader: ... if __name__ == "__main__": main()num_workers 设多少
0 = 主进程读数据,简单但慢。
一般设成 CPU 核数的 1/4 到 1/2。不是越大越好——进程切换本身有开销。
在 Jupyter / 交互环境里建议先设 0,避免子进程报错难调试。
一个 epoch 有多少批
len(loader) # ceil(样本数 / batch_size)1000 个样本、batch_size=32 → 32 批,最后一批只有 8 个。
drop_last=True 会丢掉这 8 个,变成 31 批。
什么时候要 drop_last
用了批归一化(BatchNorm)时,最后一批只有 1 个样本会让统计量失真,甚至报错。
其他情况保持 False,别白白丢数据。
训练和验证两个 loader
train_loader = DataLoader(train_ds, batch_size=64, shuffle=True, num_workers=2, pin_memory=True) test_loader = DataLoader(test_ds, batch_size=256, shuffle=False, num_workers=2, pin_memory=True)训练 | 验证 | |
|---|---|---|
| 小(64) | 大(256) |
| True | False |
原因 | 小批梯度噪声有助于泛化 | 大批快,且不更新参数 |
变长数据:collate_fn
句子长度不一样,没法直接拼成矩阵。要给个自定义拼法:
from torch.nn.utils.rnn import pad_sequence def collate(batch): xs, ys = zip(*batch) xs = pad_sequence(xs, batch_first=True, padding_value=0) return xs, torch.tensor(ys) loader = DataLoader(ds, batch_size=32, collate_fn=collate)这个在第 33 课 Seq2Seq 里会正式用到。
把整个流程串起来
from torchvision import datasets, transforms from torch.utils.data import DataLoader tf = transforms.Compose([ transforms.ToTensor(), transforms.Normalize((0.1307,), (0.3081,)), ]) train_ds = datasets.MNIST("./data", train=True, download=True, transform=tf) test_ds = datasets.MNIST("./data", train=False, transform=tf) train_loader = DataLoader(train_ds, batch_size=64, shuffle=True) test_loader = DataLoader(test_ds, batch_size=256, shuffle=False) x, y = next(iter(train_loader)) print(x.shape, y.shape) # torch.Size([64, 1, 28, 28]) torch.Size([64])下一课
数据管道通了。下一课是习题,自己写一个 Dataset 并接上 DataLoader。