AttributeError: ‘ChatGLMTokenizer‘ object has no attribute ‘sp_tokenizer‘. 已解决

📑打牌 : da pai ge的个人主页

🌤️个人专栏 : da pai ge的博客专栏

☁️宝剑锋从磨砺出,梅花香自苦寒来

☁️运维工程师的职责:监控,备份,应急故障处理

​​

目录


解决方法1:有可能安装torch时候缺少了相关依赖包

把缺少的cudatoolkit和其他包安装一下:

复制代码
conda install pytorch torchvision torchaudio cudatoolkit=10.2 -c pytorch

如果下载安装慢可以加上:

复制代码
-i  https://pypi.tuna.tsinghua.edu.cn/simple/

执行完这个命令后,解决。

解决方法2:

升级numpy库到新版:

复制代码
pip install --upgrade numpy

解决方法3:

可能是系统缺少了缺少C++运行库:C++ Redistributable

下载地址:https://www.microsoft.com/zh-cn/download/confirmation.aspx?id=48145

下载后安装即可

导致该问题的主要原因是transformers版本的问题。

原始的transformer版本为4.29.2:

再结合自己原本的虚拟环境中有trl和vllm,也对transformers有一定的限定,因此安装transformers 4.33.1解决该问题。如果没有trl和vllm的限制,只需要安装transformers<4.34即可。

复制代码
pip uninstall transforms 
在
pip install transforms 
相关推荐
前端爆冲几秒前
项目中无用export的检测方案
前端
小旋风012346 分钟前
封装可拖动弹窗(vue jquery引入到html的版本)
vue.js·html·jquery
热爱编程的小曾28 分钟前
sqli-labs靶场 less 8
前端·数据库·less
gongzemin39 分钟前
React 和 Vue3 在事件传递的区别
前端·vue.js·react.js
Apifox1 小时前
如何在 Apifox 中通过 Runner 运行包含云端数据库连接配置的测试场景
前端·后端·ci/cd
树上有只程序猿1 小时前
后端思维之高并发处理方案
前端
庸俗今天不摸鱼2 小时前
【万字总结】前端全方位性能优化指南(十)——自适应优化系统、遗传算法调参、Service Worker智能降级方案
前端·性能优化·webassembly
黄毛火烧雪下2 小时前
React Context API 用于在组件树中共享全局状态
前端·javascript·react.js
Apifox2 小时前
如何在 Apifox 中通过 CLI 运行包含云端数据库连接配置的测试场景
前端·后端·程序员
一张假钞2 小时前
Firefox默认在新标签页打开收藏栏链接
前端·firefox