导出:ONNX 与 CPU 推理
训练出来的 .pth 有个问题:它只能被 PyTorch 读, 而且通常需要和训练时同样的设备。
要放到服务器上、给别人的程序调用、或者在没有 GPU 的机器上跑,就得换格式。
先解决设备问题
在 GPU 上训的模型,直接 torch.load 到没显卡的机器会报错。
# ✗ 在 CPU 机器上跑会崩 ckpt = torch.load("model.pth") # ✓ 强制读到 CPU ckpt = torch.load("model.pth", map_location="cpu")完整流程:
ckpt = torch.load(cfg.load_path, map_location="cpu") state = ckpt.get("model_state_dict") if state is None: raise ValueError("checkpoint 里没有 model_state_dict,检查 key 名称") model = get_model(cfg.model_name)(cfg) model.load_state_dict(state) model = model.cpu() # 确保所有参数都在 CPU model.eval() # 关掉 Dropout,固定 BNeval() 不能忘
忘了它,Dropout 还在随机丢神经元,同样输入两次结果不一样。
推理前一定要 model.eval()。
ONNX 是什么
设备问题解决了,格式问题还在。
一种与框架无关的模型格式。PyTorch 导出成 ONNX 之后, C++、Java、C#、浏览器都能加载,不需要装 PyTorch。
|
| |
|---|---|---|
能被谁读 | 只有 PyTorch | 几乎所有语言 |
需要 PyTorch | 要 | 不要 |
体积 | 含优化器状态时很大 | 只含计算图,小 |
能继续训练 | 能 | 不能 |
导出
一条命令。三处参数要写对。
import torch model.eval() # 造一个假输入,形状必须和真实推理时一致 dummy = torch.randint(0, 7000, (1, 50)) # (batch, seq_len) # 多输入的模型给一个元组 # dummy = (torch.randint(0, 7000, (1, 50)), torch.randint(0, 7000, (1, 50))) torch.onnx.export( model, dummy, "model.onnx", input_names=["input"], output_names=["logits"], dynamic_axes={ "input": {0: "batch", 1: "seq_len"}, # 第 0、1 维可变 "logits": {0: "batch"}, }, opset_version=17, )参数 | 作用 |
|---|---|
| 走一遍前向,用来追踪计算图。形状要真实 |
| 把某些维标成可变,否则导出后写死成 dummy 的形状 |
| ONNX 算子集版本,17 比较通用 |
忘了 dynamic_axes 的后果
dummy 用 (1, 50) 导出,之后传 (32, 50) 会报 Got invalid dimensions for input。
因为 batch 维被写死成 1 了。凡是推理时可能变的维度都要标成 dynamic。
验证导出对不对
导出不会报错,但可能导错。必须比一次输出。
导出完必须对比一次输出,不能假设它一定对:
import numpy as np import onnxruntime as ort # PyTorch 的输出 with torch.no_grad(): torch_out = model(dummy).numpy() # ONNX 的输出 sess = ort.InferenceSession("model.onnx") onnx_out = sess.run(None, {"input": dummy.numpy()})[0] print("最大差异:", np.abs(torch_out - onnx_out).max()) # 应该 < 1e-4差异在 1e-4 以内算正常(浮点误差)。差很多说明导出有问题。
用 ONNX 推理
文件验证过了,看怎么用它。
import onnxruntime as ort import numpy as np sess = ort.InferenceSession("model.onnx", providers=["CPUExecutionProvider"]) x = np.random.randint(0, 7000, (4, 50)).astype(np.int64) out = sess.run(None, {"input": x})[0] print(out.shape) # (4, 50, 7000) print(out.argmax(-1)) # 每个位置预测的词不需要 PyTorch 就能跑。服务器上只装 onnxruntime(约 15 MB)就够。
没有 ONNX 也能导出
方式 | 适合 |
|---|---|
| 自己用,还要继续训练 |
| PyTorch 内部署,不换语言 |
| 跨语言、跨平台 |
| 加速推理,不换格式 |
一个最小的推理脚本
把上面两种方式包成同一个接口,调用方就不用关心底下是什么。
部署时最常写的东西,二十行:
import torch, onnxruntime as ort, numpy as np class Predictor: def __init__(self, path, use_onnx=False): self.use_onnx = use_onnx if use_onnx: self.sess = ort.InferenceSession(path, providers=["CPUExecutionProvider"]) else: ckpt = torch.load(path, map_location="cpu") self.model = build_model(ckpt["cfg"]).cpu().eval() self.model.load_state_dict(ckpt["model_state_dict"]) @torch.no_grad() def __call__(self, x): x = np.asarray(x, dtype=np.int64) if self.use_onnx: return self.sess.run(None, {"input": x})[0] return self.model(torch.from_numpy(x)).numpy()调用方只看到 predictor(x),不用关心底下是 PyTorch 还是 ONNX。
下一课
工程化这一章到这里。下一课是习题——把你前面写的单文件训练脚本,按这一章的结构拆开。