习题:自己搭一个网络并训练完

这一章学的四样东西——nn.Module、损失函数、优化器、训练循环—— 在这一题里全部用上。

题目不新:还是房价预测。但数据比第 2 章复杂得多, 线性回归那次的办法在这里不够用。

数据

2000 套房子,5 个特征:

特征

范围

和房价的关系

面积

30 ~ 150 平

线性,主要因素

房龄

0 ~ 30 年

线性,负相关

楼层

1 ~ 32 层

线性,正相关

到地铁距离

0.2 ~ 3.2 km

平方关系,负相关

房间数

1 ~ 4 间

线性 + 和面积有交互

生成数据的代码(直接复制,不用自己造):

import torch torch.manual_seed(0) g = torch.Generator().manual_seed(42) n = 2000 area = torch.rand(n, generator=g) * 120 + 30 age = torch.rand(n, generator=g) * 30 floor = torch.randint(1, 33, (n,), generator=g).float() dist = torch.rand(n, generator=g) * 3 + 0.2 rooms = torch.randint(1, 5, (n,), generator=g).float() price = ( 2.5 * area - 1.8 * age + 3.0 * floor - 25.0 * dist ** 2 + 8.0 * rooms + 0.02 * area * rooms # 交互项 + 60 + torch.randn(n, generator=g) * 12 # 噪声 ) X = torch.stack([area, age, floor, dist, rooms], dim=1) y = price.view(-1, 1)

为什么不能用线性回归

注意 dist ** 2 和 area * rooms 这两项。

纯线性模型拟合不了——要么误差大,要么你得自己手工造这两个特征。

神经网络的价值在于:这两个特征它会自己学出来。

要求

#

要求

1

划分训练集 / 测试集(1600 / 400),按顺序切

2

标准化特征,只用训练集的均值和标准差

3

用 nn.Module 写一个至少两层的网络

4

损失用 MSELoss

5

完整训练循环:zero_grad / backward / step

6

在测试集上算 MAE(单位:万元)

7

打印前 8 个样本的「预测 vs 真实」

验收标准

指标

合格线

说明

测试集 MAE

< 20 万元

房价本身均值 240 万

对比基线

不到基线的 1/3

基线 = 全猜训练集均值,MAE 约 101 万

损失完全不降

说明哪里写错了

见下面三条

三个最容易错的地方

① 忘了标准化:面积 30~150、房龄 0~30,量级差 5 倍,训练会非常慢。

② 标准化用了全部数据:只能算训练集的均值和标准差,再套到测试集(第 19 章讲过)。

③ 标签标准化了但忘了还原:算 MAE 前要乘回标准差、加回均值。

参考答案

点开看完整代码模板

import torch, torch.nn as nn # 1. 数据(复制上面那段生成代码) # ... X, y ... # 2. 划分 Xtr, Xte = X[:1600], X[1600:] ytr, yte = y[:1600], y[1600:] # 3. 标准化(只用训练集的统计量) mu, sd = Xtr.mean(0), Xtr.std(0) Xtr = (Xtr - mu) / sd Xte = (Xte - mu) / sd ymu, ysd = ytr.mean(), ytr.std() ytr_n = (ytr - ymu) / ysd yte_n = (yte - ymu) / ysd # 4. 模型 class HouseNet(nn.Module): def __init__(self): super().__init__() self.net = nn.Sequential( nn.Linear(5, 64), nn.ReLU(), nn.Linear(64, 64), nn.ReLU(), nn.Linear(64, 1), ) def forward(self, x): return self.net(x) model = HouseNet() lossf = nn.MSELoss() opt = torch.optim.AdamW(model.parameters(), lr=1e-2) # 5. 训练 for epoch in range(300): model.train() perm = torch.randperm(1600) for i in range(0, 1600, 64): idx = perm[i:i+64] loss = lossf(model(Xtr[idx]), ytr_n[idx]) opt.zero_grad() loss.backward() opt.step() # 6. 评估 model.eval() with torch.no_grad(): pred = model(Xte) * ysd + ymu # 还原成「万元」 mae = (pred - yte).abs().mean().item() rmse = ((pred - yte) ** 2).mean().sqrt().item() print(f"MAE {mae:.2f} 万元") print(f"RMSE {rmse:.2f} 万元") for i in range(8): print(f"预测 {pred[i,0]:7.1f} 真实 {yte[i,0]:7.1f}")

点开看实际跑出来的结果

上面那份代码(种子 0 + generator 42)跑出来的:

测试集 MAE 11.65 万元 测试集 RMSE 14.78 万元 房价均值 240.6 万元 标准差 121.4

前 8 个样本:

#

预测(万元)

真实(万元)

差

1

5.0

1.2

+3.8

2

313.7

318.9

-5.2

3

189.9

193.7

-3.8

4

362.6

352.4

+10.2

5

213.7

195.1

+18.6

6

389.6

394.7

-5.1

7

58.8

59.9

-1.1

8

320.1

314.8

+5.3

对比基线(全部猜训练集均值):

基线 MAE 101.46 万元 本模型 11.65 万元 改进 89%

你的数字不会完全一样(随机初始化和 randperm 都和种子有关), 但量级应该接近:MAE 在 10~15 万,改进 85% 以上。

差很多说明什么

MAE 在 100 万左右 → 模型没学到东西,检查标准化和标签还原。

MAE 在 30~50 万 → 网络太小或轮数不够,试试加宽、加到 500 轮。

MAE 在 5 万以下 → 多半泄漏了,检查测试集有没有参与标准化。

做完之后想一想

#

问题

1

隐藏层改成 1 层 8 个神经元,MAE 变成多少?为什么变差?

2

去掉标准化再跑,训练曲线有什么不同?

3

手工把 dist 换成 dist**2 喂进去,模型还需要学这个非线性吗?误差会变吗?

4

训练集 MAE 3 万、测试集 12 万,说明什么?该做什么?

下一章

网络能自己搭、自己训了。下一章讲怎么让它训得更好:学习率、正则化、初始化。