AttributeError: ‘ChatGLMTokenizer‘ object has no attribute ‘sp_tokenizer‘. 已解决

📑打牌 : da pai ge的个人主页

🌤️个人专栏 : da pai ge的博客专栏

☁️宝剑锋从磨砺出,梅花香自苦寒来

☁️运维工程师的职责:监控,备份,应急故障处理

​​

目录


解决方法1:有可能安装torch时候缺少了相关依赖包

把缺少的cudatoolkit和其他包安装一下:

复制代码
conda install pytorch torchvision torchaudio cudatoolkit=10.2 -c pytorch

如果下载安装慢可以加上:

复制代码
-i  https://pypi.tuna.tsinghua.edu.cn/simple/

执行完这个命令后,解决。

解决方法2:

升级numpy库到新版:

复制代码
pip install --upgrade numpy

解决方法3:

可能是系统缺少了缺少C++运行库:C++ Redistributable

下载地址:https://www.microsoft.com/zh-cn/download/confirmation.aspx?id=48145

下载后安装即可

导致该问题的主要原因是transformers版本的问题。

原始的transformer版本为4.29.2:

再结合自己原本的虚拟环境中有trl和vllm,也对transformers有一定的限定,因此安装transformers 4.33.1解决该问题。如果没有trl和vllm的限制,只需要安装transformers<4.34即可。

复制代码
pip uninstall transforms 
在
pip install transforms 
相关推荐
比特森林探险记19 分钟前
【无标题】
java·前端
IT_陈寒1 小时前
SpringBoot自动配置把我都整不会了
前端·人工智能·后端
最逗前端小白鼠2 小时前
vue3 数据响应式遇到的问题
前端·vue.js
倚栏听风雨2 小时前
ts中 ?? 和 || 区别
前端
冴羽2 小时前
请愿书:Node.js 核心代码不应该包含 AI 代码!
前端·javascript·node.js
我家猫叫佩奇2 小时前
一款灵感源自《集合啦!动物森友会》的 UI 组件库
前端
mmmmm123422 小时前
深入 DOM 查询底层:HTMLCollection 动态原理与 querySelectorAll 静态快照解析
前端·javascript
weixin199701080162 小时前
《TikTok 商品详情页前端性能优化实战》
前端·性能优化
闲坐含香咀翠2 小时前
告别二次登录!Web端检测并唤起Electron客户端实战
前端·客户端
岁月宁静3 小时前
都知道AI大模型能生成文本内容,那你知道大模型是怎样生成文本的吗?
前端·vue.js·人工智能