LlamaFactory——如何使用魔改后的模型

闰土_RUNTU2025-05-29 21:42

需求来源：有时我们可能想在llamafactory框架支持的模型上进行一些改动，例如修改forward()方法等，修改方法我们可以通过继承Transformers库中相应的class并重写相应的方法即可，那我们如何使用自己的模型呢？

首先，我们需要定位模型初始化的相关代码，具体路径为：LLaMA-Factory-main/src/llamafactory/model/loader.py

python 复制代码

# 大致在169行的位置
model = load_class.from_pretrained(**init_kwargs)

上述代码实现了模型的初始化，其中load_class是OrderDict的一个子类，功能主要是根据config的类型找到对应模型class，例如Qwen2VLConfig(源码：transformers/models/qwen2_vl/configuration_qwen2_vl.py)对应Qwen2VLForConditionalGeneration(源码：transformers/models/qwen2_vl/modeling_qwen2_vl.py)，本质上类似于字典，那我们只需要把相应的值替换为我们自己的模型即可，具体代码如下：

python 复制代码

load_class.register(type(config), YourCustomModelClass, exist_ok=True)
model = load_class.from_pretrained(**init_kwargs)

使用load_class的register()方法，把模型class替换为自己的模型即可，一定注意参数exist_ok要设置为True，才能覆写已有Config类对应的模型，不然会报错。