习题:自己搭一个网络并训练完
这一章学的四样东西——nn.Module、损失函数、优化器、训练循环—— 在这一题里全部用上。
题目不新:还是房价预测。但数据比第 2 章复杂得多, 线性回归那次的办法在这里不够用。
数据
2000 套房子,5 个特征:
特征 | 范围 | 和房价的关系 |
|---|---|---|
面积 | 30 ~ 150 平 | 线性,主要因素 |
房龄 | 0 ~ 30 年 | 线性,负相关 |
楼层 | 1 ~ 32 层 | 线性,正相关 |
到地铁距离 | 0.2 ~ 3.2 km | 平方关系,负相关 |
房间数 | 1 ~ 4 间 | 线性 + 和面积有交互 |
生成数据的代码(直接复制,不用自己造):
import torch torch.manual_seed(0) g = torch.Generator().manual_seed(42) n = 2000 area = torch.rand(n, generator=g) * 120 + 30 age = torch.rand(n, generator=g) * 30 floor = torch.randint(1, 33, (n,), generator=g).float() dist = torch.rand(n, generator=g) * 3 + 0.2 rooms = torch.randint(1, 5, (n,), generator=g).float() price = ( 2.5 * area - 1.8 * age + 3.0 * floor - 25.0 * dist ** 2 + 8.0 * rooms + 0.02 * area * rooms # 交互项 + 60 + torch.randn(n, generator=g) * 12 # 噪声 ) X = torch.stack([area, age, floor, dist, rooms], dim=1) y = price.view(-1, 1)为什么不能用线性回归
注意 dist ** 2 和 area * rooms 这两项。
纯线性模型拟合不了——要么误差大,要么你得自己手工造这两个特征。
神经网络的价值在于:这两个特征它会自己学出来。
要求
# | 要求 |
|---|---|
1 | 划分训练集 / 测试集(1600 / 400),按顺序切 |
2 | 标准化特征,只用训练集的均值和标准差 |
3 | 用 |
4 | 损失用 |
5 | 完整训练循环: |
6 | 在测试集上算 MAE(单位:万元) |
7 | 打印前 8 个样本的「预测 vs 真实」 |
验收标准
指标 | 合格线 | 说明 |
|---|---|---|
测试集 MAE | < 20 万元 | 房价本身均值 240 万 |
对比基线 | 不到基线的 1/3 | 基线 = 全猜训练集均值,MAE 约 101 万 |
损失完全不降 | 说明哪里写错了 | 见下面三条 |
三个最容易错的地方
① 忘了标准化:面积 30~150、房龄 0~30,量级差 5 倍,训练会非常慢。
② 标准化用了全部数据:只能算训练集的均值和标准差,再套到测试集(第 19 章讲过)。
③ 标签标准化了但忘了还原:算 MAE 前要乘回标准差、加回均值。
参考答案
点开看完整代码模板
import torch, torch.nn as nn # 1. 数据(复制上面那段生成代码) # ... X, y ... # 2. 划分 Xtr, Xte = X[:1600], X[1600:] ytr, yte = y[:1600], y[1600:] # 3. 标准化(只用训练集的统计量) mu, sd = Xtr.mean(0), Xtr.std(0) Xtr = (Xtr - mu) / sd Xte = (Xte - mu) / sd ymu, ysd = ytr.mean(), ytr.std() ytr_n = (ytr - ymu) / ysd yte_n = (yte - ymu) / ysd # 4. 模型 class HouseNet(nn.Module): def __init__(self): super().__init__() self.net = nn.Sequential( nn.Linear(5, 64), nn.ReLU(), nn.Linear(64, 64), nn.ReLU(), nn.Linear(64, 1), ) def forward(self, x): return self.net(x) model = HouseNet() lossf = nn.MSELoss() opt = torch.optim.AdamW(model.parameters(), lr=1e-2) # 5. 训练 for epoch in range(300): model.train() perm = torch.randperm(1600) for i in range(0, 1600, 64): idx = perm[i:i+64] loss = lossf(model(Xtr[idx]), ytr_n[idx]) opt.zero_grad() loss.backward() opt.step() # 6. 评估 model.eval() with torch.no_grad(): pred = model(Xte) * ysd + ymu # 还原成「万元」 mae = (pred - yte).abs().mean().item() rmse = ((pred - yte) ** 2).mean().sqrt().item() print(f"MAE {mae:.2f} 万元") print(f"RMSE {rmse:.2f} 万元") for i in range(8): print(f"预测 {pred[i,0]:7.1f} 真实 {yte[i,0]:7.1f}")点开看实际跑出来的结果
上面那份代码(种子 0 + generator 42)跑出来的:
测试集 MAE 11.65 万元 测试集 RMSE 14.78 万元 房价均值 240.6 万元 标准差 121.4前 8 个样本:
# | 预测(万元) | 真实(万元) | 差 |
|---|---|---|---|
1 | 5.0 | 1.2 | +3.8 |
2 | 313.7 | 318.9 | -5.2 |
3 | 189.9 | 193.7 | -3.8 |
4 | 362.6 | 352.4 | +10.2 |
5 | 213.7 | 195.1 | +18.6 |
6 | 389.6 | 394.7 | -5.1 |
7 | 58.8 | 59.9 | -1.1 |
8 | 320.1 | 314.8 | +5.3 |
对比基线(全部猜训练集均值):
基线 MAE 101.46 万元 本模型 11.65 万元 改进 89%你的数字不会完全一样(随机初始化和 randperm 都和种子有关), 但量级应该接近:MAE 在 10~15 万,改进 85% 以上。
差很多说明什么
MAE 在 100 万左右 → 模型没学到东西,检查标准化和标签还原。
MAE 在 30~50 万 → 网络太小或轮数不够,试试加宽、加到 500 轮。
MAE 在 5 万以下 → 多半泄漏了,检查测试集有没有参与标准化。
做完之后想一想
# | 问题 |
|---|---|
1 | 隐藏层改成 1 层 8 个神经元,MAE 变成多少?为什么变差? |
2 | 去掉标准化再跑,训练曲线有什么不同? |
3 | 手工把 |
4 | 训练集 MAE 3 万、测试集 12 万,说明什么?该做什么? |
下一章
网络能自己搭、自己训了。下一章讲怎么让它训得更好:学习率、正则化、初始化。