习题
用这份数据写 Dataset
把下面内容存成 data.csv(放在和脚本同一个目录):
a,b,y 1.2,3.4,0 2.5,1.1,1 0.3,4.2,0 3.8,2.9,1 1.7,0.6,0 4.1,3.3,1 2.2,2.0,0 0.9,3.9,1 3.0,1.5,0 1.4,4.8,110 行数据,2 个特征 1 个标签,正负各 5 个。
要写的东西
下面的 assert 是 Python 的断言: 条件成立就什么也不做,不成立就当场报错。
拿它当自动判分器用——写完之后整段跑一遍, 一条都不报错,说明 Dataset 写对了。
import torch from torch.utils.data import Dataset class CSVDataset(Dataset): def __init__(self, path): ... def __len__(self): ... def __getitem__(self, idx): ... ds = CSVDataset("data.csv") # 下面这些必须全部成立 assert len(ds) == 10 x, y = ds[0] assert x.shape == (2,) assert x.dtype == torch.float32 assert y.dtype == torch.long assert y.item() == 0 assert torch.allclose(x, torch.tensor([1.2, 3.4]))写对之后 assert 一个都不会报。注意 y 要 long—— 分类任务的标签用整数。
算 batch 数
Dataset 写好了,接着是 loader 的行为。先算清楚,再跑代码验证。
训练集 50000 个样本,batch_size=128:
问题 | 答案 |
|---|---|
| ? |
最后一个 batch 有几个样本 | ? |
改成 | ? |
一共丢了多少样本 | ? |
用这份 CSV 验证你的理解
上面两个是分开算的。现在合起来,用同一份数据走一遍完整流程。
ds = CSVDataset("data.csv") # 1. 直接取 print(ds[2]) # 预期是什么? # 2. 用 loader 取 from torch.utils.data import DataLoader loader = DataLoader(ds, batch_size=4, shuffle=False) for x, y in loader: print(x.shape, y.shape) # 预期输出几行?每行的 shape 是什么? # 最后一行的 shape 又是什么?为什么?把预期写下来再跑,对不上说明哪里错了。
判断对错,错的说明为什么
动手做完了,检查几个容易搞混的概念。
# | 说法 | 对 / 错 + 理由 |
|---|---|---|
1 |
| |
2 | 验证集的 DataLoader 也应该 | |
3 |
| |
4 | 数据增强要加在验证集上 | |
5 |
| |
6 | 10 行数据用 |
找出这段代码的三个问题
前面都是自己写对的。这道反过来:给你一段有问题的代码。
import os from PIL import Image from torch.utils.data import Dataset, DataLoader class Bad(Dataset): def __init__(self, folder): self.files = os.listdir(folder) self.imgs = [Image.open(os.path.join(folder, f)) for f in self.files] def __getitem__(self, i): return self.imgs[i] def __len__(self): return len(self.files) ds = Bad("./images") loader = DataLoader(ds, batch_size=32)假设 ./images 里有 10000 张 224×224 的 JPG。 逐个指出问题、说明后果、给出改法。
实测像素范围
最后一道动手题,验证 transform 到底把数据变成了什么样。
跑下面这段,填出实际数字:
from torchvision import datasets, transforms from torch.utils.data import DataLoader tf = transforms.Compose([ transforms.ToTensor(), transforms.Normalize((0.1307,), (0.3081,)), ]) ds = datasets.MNIST("./data", train=True, download=True, transform=tf) loader = DataLoader(ds, batch_size=64, shuffle=False) x, y = next(iter(loader)) print(x.shape) # ? print(x.dtype) # ? print(x.min().item()) # ? print(x.max().item()) # ? print(y[:8]) # ?再跑一次,去掉 Normalize,看范围变成多少。这两个范围分别是为什么?
参考答案要点
题 | 要点 |
|---|---|
一 |
|
二 | 391 / 50000−390×128 = 80 / 390 / 80 |
三 | 3 行(4+4+2);前两行 |
四 | 1 错(返回单个样本)/2 错(影响可复现性)/3 错(进程切换有开销)/ 4 错(验证要反映真实分布)/5 对(还做了 HWC→CHW)/6 错(是 3 个 batch,最后一个 2 行) |
五 | ① |
六 |
|
下一章
数据能一批一批喂进去了。下一章开始搭第一个真正的网络。