模型注册表
每加一个新模型,你要改几个地方?
先看没有注册表的样子
这是实际项目里的代码:
# load/load.py def build_model(self): if self.cfg.model_name == 'rnn': build = get_model(self.cfg.model_name) self.model = build(len(self.process.word2idx)) if self.cfg.model_name == 'lstm': build = get_model(self.cfg.model_name) self.model = build(len(self.process.word2idx)) if self.cfg.model_name == 'seq2seq': build = get_model(self.cfg.model_name) encoder = get_model('encoder')(len(self.process.ChineseWords2ids)) decoder = get_model('decoder')(len(self.process.EnlighWord2ids)) self.model = build(encoder, decoder)四个 if,三段几乎一样的代码。
问题 | 说明 |
|---|---|
加模型要改两处 |
|
参数签名不一致 | rnn 要 1 个参数,seq2seq 要 2 个,只能分开写 |
写错名字不报错 | 如果所有 if 都不匹配, |
注册表:一个字典
既然 if 链的毛病是“每加一个就要改一处”,那解法就是让新增不用改别的地方。
核心就三行:
# model/model.py models = {} # 全局注册表 def get_model(name: str): if name not in models: raise ValueError(f"Unknown model: {name}") # 名字错了立刻报清楚 return models[name]然后用一个装饰器把模型登记进去:
def register(name): def wrap(cls): models[name] = cls return cls return wrap @register("rnn") class RNN(nn.Module): def __init__(self, vocab_size): ... @register("seq2seq") class Seq2Seq(nn.Module): def __init__(self, encoder, decoder): ...用的时候:
build = get_model("rnn") model = build(vocab_size)加一个新模型只要写一个类
不用改 load.py,不用改任何 if。
在外面套一个 @register("mymodel"),然后 cfg.model_name = "mymodel" 就能跑。
参数不一样怎么办
注册表本身很简单,难的是上面那个问题:不同模型的构造函数长得不一样。
上面那串 if 存在的一个理由是:rnn 和 seq2seq 的构造函数参数个数不同。
两个解法,看情况选。
解法一:统一成"配置进、模型出"
@register("rnn") class RNN(nn.Module): def __init__(self, cfg): super().__init__() self.emb = nn.Embedding(cfg.vocab_size, cfg.embed_dim) ... @register("seq2seq") class Seq2Seq(nn.Module): def __init__(self, cfg): super().__init__() self.encoder = Encoder(cfg) self.decoder = Decoder(cfg) ... # 使用端完全一样 model = get_model(cfg.model_name)(cfg)所有模型都接受同一个 cfg 对象。 新增模型想用哪些参数自己从 cfg 里取。
解法二:注册一个工厂函数
models = {} def register(name): def wrap(fn): models[name] = fn return fn return wrap @register("seq2seq") def build_seq2seq(cfg, process): enc = Encoder(len(process.cn_ids)) dec = Decoder(len(process.en_ids)) return Seq2Seq(enc, dec) # 使用端 builder = get_model(cfg.model_name) model = builder(cfg, process)工厂函数负责把各种前置依赖拼好,使用端仍然只有一行。
同时登记几个相关的模型
seq2seq 需要 encoder 和 decoder,它们也可以登记:
@register("encoder") class Encoder(nn.Module): ... @register("decoder") class Decoder(nn.Module): ... # 组装的时候按名字取 @register("seq2seq") def build(cfg): return Seq2Seq(get_model("encoder")(cfg), get_model("decoder")(cfg))这就是为什么实际项目里会写 get_model('encoder') 和 get_model('decoder')。
加一个模型要改几处
回到开头那个问题,现在可以回答了。
做法 | 新增模型要改的地方 |
|---|---|
if 链 | 2 处:定义类 + |
注册表 | 1 处:写一个类,加一个 |
模型只有两三个时差别不大。到第十个模型时,if 链会变成 60 行完全重复的代码。
这个模式的名字
叫注册表模式(registry pattern),也叫插件模式。
PyTorch 自己也在用:torch.optim.Adam、transformers.AutoModel 内部都是一张名字到类的表。
和 nn.Module 什么关系
没有关系,是两个层次的东西:
管什么 | |
|---|---|
| 一个网络的内部:有哪些层、怎么连 |
注册表 | 多个网络之间:按名字挑一个来用 |
@register 只是把类塞进字典,类本身仍然是普通的 nn.Module。
下一课
模型能按名字取了。下一课看谁负责把配置、数据、模型、优化器装到一起。