LLM - LLama 模型读取报错 TypeError: not a string

一.引言

读取 LLama2 模型时报错 TypeError: not a string

看异常栈是 AutoTokenizer.from_pretrained 时候的异常。

二.问题解决

出现类似加载模型异常的问题，大致分两类：

◆ 模型地址异常

脚本里传的 pretrained_model Path 有问题，加 ""、'' 或者 / 等标识尝试是否可以正常加载。

◆ 模型文件后缀异常

还有一个可能就是模型文件内的后缀出现异常，上述报错由于 tokenizer.model 后缀异常，多了 .model.model 所以加载异常。出现这个问题是由于博主在下载模型保存时不知道怎么多了这个后缀，这里 mv 将文件修改正确即可，顺便把 README 也改对了...

mv tokenizer.model.model.model tokenizer.model
mv README.md.md.md README.md

三.总结

这个错误比较基础，出现这个问题检查传的参数和模型的文件名可以很快定位问题。