模型注册表

每加一个新模型,你要改几个地方?

先看没有注册表的样子

这是实际项目里的代码:

# load/load.py def build_model(self): if self.cfg.model_name == 'rnn': build = get_model(self.cfg.model_name) self.model = build(len(self.process.word2idx)) if self.cfg.model_name == 'lstm': build = get_model(self.cfg.model_name) self.model = build(len(self.process.word2idx)) if self.cfg.model_name == 'seq2seq': build = get_model(self.cfg.model_name) encoder = get_model('encoder')(len(self.process.ChineseWords2ids)) decoder = get_model('decoder')(len(self.process.EnlighWord2ids)) self.model = build(encoder, decoder)

四个 if,三段几乎一样的代码。

问题

说明

加模型要改两处

model.py 里定义,load.py 里再加一个 if

参数签名不一致

rnn 要 1 个参数,seq2seq 要 2 个,只能分开写

写错名字不报错

如果所有 if 都不匹配,self.model 根本不存在,报错信息很难懂

注册表:一个字典

既然 if 链的毛病是“每加一个就要改一处”,那解法就是让新增不用改别的地方。

核心就三行:

# model/model.py models = {} # 全局注册表 def get_model(name: str): if name not in models: raise ValueError(f"Unknown model: {name}") # 名字错了立刻报清楚 return models[name]

然后用一个装饰器把模型登记进去:

def register(name): def wrap(cls): models[name] = cls return cls return wrap @register("rnn") class RNN(nn.Module): def __init__(self, vocab_size): ... @register("seq2seq") class Seq2Seq(nn.Module): def __init__(self, encoder, decoder): ...

用的时候:

build = get_model("rnn") model = build(vocab_size)

加一个新模型只要写一个类

不用改 load.py,不用改任何 if。

在外面套一个 @register("mymodel"),然后 cfg.model_name = "mymodel" 就能跑。

参数不一样怎么办

注册表本身很简单,难的是上面那个问题:不同模型的构造函数长得不一样。

上面那串 if 存在的一个理由是:rnn 和 seq2seq 的构造函数参数个数不同。

两个解法,看情况选。

解法一:统一成"配置进、模型出"

@register("rnn") class RNN(nn.Module): def __init__(self, cfg): super().__init__() self.emb = nn.Embedding(cfg.vocab_size, cfg.embed_dim) ... @register("seq2seq") class Seq2Seq(nn.Module): def __init__(self, cfg): super().__init__() self.encoder = Encoder(cfg) self.decoder = Decoder(cfg) ... # 使用端完全一样 model = get_model(cfg.model_name)(cfg)

所有模型都接受同一个 cfg 对象。 新增模型想用哪些参数自己从 cfg 里取。

解法二:注册一个工厂函数

models = {} def register(name): def wrap(fn): models[name] = fn return fn return wrap @register("seq2seq") def build_seq2seq(cfg, process): enc = Encoder(len(process.cn_ids)) dec = Decoder(len(process.en_ids)) return Seq2Seq(enc, dec) # 使用端 builder = get_model(cfg.model_name) model = builder(cfg, process)

工厂函数负责把各种前置依赖拼好,使用端仍然只有一行。

同时登记几个相关的模型

seq2seq 需要 encoder 和 decoder,它们也可以登记:

@register("encoder") class Encoder(nn.Module): ... @register("decoder") class Decoder(nn.Module): ... # 组装的时候按名字取 @register("seq2seq") def build(cfg): return Seq2Seq(get_model("encoder")(cfg), get_model("decoder")(cfg))

这就是为什么实际项目里会写 get_model('encoder') 和 get_model('decoder')。

加一个模型要改几处

回到开头那个问题,现在可以回答了。

做法

新增模型要改的地方

if 链

2 处:定义类 + load.py 加一个 if

注册表

1 处:写一个类,加一个 @register

模型只有两三个时差别不大。到第十个模型时,if 链会变成 60 行完全重复的代码。

这个模式的名字

叫注册表模式(registry pattern),也叫插件模式。

PyTorch 自己也在用:torch.optim.Adam、transformers.AutoModel 内部都是一张名字到类的表。

和 nn.Module 什么关系

没有关系,是两个层次的东西:

管什么

nn.Module

一个网络的内部:有哪些层、怎么连

注册表

多个网络之间:按名字挑一个来用

@register 只是把类塞进字典,类本身仍然是普通的 nn.Module。

下一课

模型能按名字取了。下一课看谁负责把配置、数据、模型、优化器装到一起。