习题

用这份数据写 Dataset

把下面内容存成 data.csv(放在和脚本同一个目录):

a,b,y 1.2,3.4,0 2.5,1.1,1 0.3,4.2,0 3.8,2.9,1 1.7,0.6,0 4.1,3.3,1 2.2,2.0,0 0.9,3.9,1 3.0,1.5,0 1.4,4.8,1

10 行数据,2 个特征 1 个标签,正负各 5 个。

要写的东西

下面的 assert 是 Python 的断言: 条件成立就什么也不做,不成立就当场报错。

拿它当自动判分器用——写完之后整段跑一遍, 一条都不报错,说明 Dataset 写对了。

import torch from torch.utils.data import Dataset class CSVDataset(Dataset): def __init__(self, path): ... def __len__(self): ... def __getitem__(self, idx): ... ds = CSVDataset("data.csv") # 下面这些必须全部成立 assert len(ds) == 10 x, y = ds[0] assert x.shape == (2,) assert x.dtype == torch.float32 assert y.dtype == torch.long assert y.item() == 0 assert torch.allclose(x, torch.tensor([1.2, 3.4]))

写对之后 assert 一个都不会报。注意 y 要 long—— 分类任务的标签用整数。

算 batch 数

Dataset 写好了,接着是 loader 的行为。先算清楚,再跑代码验证。

训练集 50000 个样本,batch_size=128:

问题

答案

len(loader) 是多少

?

最后一个 batch 有几个样本

?

改成 drop_last=True,len(loader) 是多少

?

一共丢了多少样本

?

用这份 CSV 验证你的理解

上面两个是分开算的。现在合起来,用同一份数据走一遍完整流程。

ds = CSVDataset("data.csv") # 1. 直接取 print(ds[2]) # 预期是什么? # 2. 用 loader 取 from torch.utils.data import DataLoader loader = DataLoader(ds, batch_size=4, shuffle=False) for x, y in loader: print(x.shape, y.shape) # 预期输出几行?每行的 shape 是什么? # 最后一行的 shape 又是什么?为什么?

把预期写下来再跑,对不上说明哪里错了。

判断对错,错的说明为什么

动手做完了,检查几个容易搞混的概念。

#

说法

对 / 错 + 理由

1

__getitem__ 应该返回一批数据

2

验证集的 DataLoader 也应该 shuffle=True

3

num_workers 越大越快

4

数据增强要加在验证集上

5

ToTensor() 会把像素压到 0-1

6

10 行数据用 batch_size=4,是 2.5 个 batch

找出这段代码的三个问题

前面都是自己写对的。这道反过来:给你一段有问题的代码。

import os from PIL import Image from torch.utils.data import Dataset, DataLoader class Bad(Dataset): def __init__(self, folder): self.files = os.listdir(folder) self.imgs = [Image.open(os.path.join(folder, f)) for f in self.files] def __getitem__(self, i): return self.imgs[i] def __len__(self): return len(self.files) ds = Bad("./images") loader = DataLoader(ds, batch_size=32)

假设 ./images 里有 10000 张 224×224 的 JPG。 逐个指出问题、说明后果、给出改法。

实测像素范围

最后一道动手题,验证 transform 到底把数据变成了什么样。

跑下面这段,填出实际数字:

from torchvision import datasets, transforms from torch.utils.data import DataLoader tf = transforms.Compose([ transforms.ToTensor(), transforms.Normalize((0.1307,), (0.3081,)), ]) ds = datasets.MNIST("./data", train=True, download=True, transform=tf) loader = DataLoader(ds, batch_size=64, shuffle=False) x, y = next(iter(loader)) print(x.shape) # ? print(x.dtype) # ? print(x.min().item()) # ? print(x.max().item()) # ? print(y[:8]) # ?

再跑一次,去掉 Normalize,看范围变成多少。这两个范围分别是为什么?

参考答案要点

题

要点

一

__init__ 里 pd.read_csv(path) 存成 numpy 数组; __getitem__ 返回 torch.tensor(self.X[i], dtype=torch.float32) 和 torch.tensor(self.y[i], dtype=torch.long)

二

391 / 50000−390×128 = 80 / 390 / 80

三

3 行(4+4+2);前两行 (4,2) (4,),最后一行 (2,2) (2,)

四

1 错(返回单个样本)/2 错(影响可复现性)/3 错(进程切换有开销)/ 4 错(验证要反映真实分布)/5 对(还做了 HWC→CHW)/6 错(是 3 个 batch,最后一个 2 行)

五

① __init__ 里读了全部 10000 张图(约 1.4 GB); ② 返回 PIL 对象,DataLoader 拼批时报错; ③ 没有 transform,也没有标签。

六

(64,1,28,28)、float32、约 −0.4242、约 2.8215。 去掉 Normalize 后是 0.0 到 1.0(ToTensor 已经除过 255)。

下一章

数据能一批一批喂进去了。下一章开始搭第一个真正的网络。