使用LLM模型的tokenizer报错AttributeError: ‘dict‘ object has no attribute ‘model_type‘

代码

from transformers import AutoTokenizer
...
model_path = "/.../models/Qwen/Qwen2.5-0.5B-Instruct"
    train_data_path = "/...dataset/datasettrain.json"
    tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)

报错：

AttributeError: 'dict' object has no attribute 'model_type'

解决方法：

把transformers版本改一下。（报错时我使用的是transformers== 4.57.2）

改成transformers==4.57.1即可

参考地址：

https://github.com/vllm-project/vllm/issues/29368