AttributeError: ‘ChatGLMTokenizer‘ object has no attribute ‘sp_tokenizer‘. 已解决

📑打牌 : da pai ge的个人主页

🌤️个人专栏 : da pai ge的博客专栏

☁️宝剑锋从磨砺出,梅花香自苦寒来

☁️运维工程师的职责:监控,备份,应急故障处理

​​

目录


解决方法1:有可能安装torch时候缺少了相关依赖包

把缺少的cudatoolkit和其他包安装一下:

复制代码
conda install pytorch torchvision torchaudio cudatoolkit=10.2 -c pytorch

如果下载安装慢可以加上:

复制代码
-i  https://pypi.tuna.tsinghua.edu.cn/simple/

执行完这个命令后,解决。

解决方法2:

升级numpy库到新版:

复制代码
pip install --upgrade numpy

解决方法3:

可能是系统缺少了缺少C++运行库:C++ Redistributable

下载地址:https://www.microsoft.com/zh-cn/download/confirmation.aspx?id=48145

下载后安装即可

导致该问题的主要原因是transformers版本的问题。

原始的transformer版本为4.29.2:

再结合自己原本的虚拟环境中有trl和vllm,也对transformers有一定的限定,因此安装transformers 4.33.1解决该问题。如果没有trl和vllm的限制,只需要安装transformers<4.34即可。

复制代码
pip uninstall transforms 
在
pip install transforms 
相关推荐
晚风予星11 小时前
简记 | 一个基于 AntD 的高效 useDrawer Hooks
前端·react.js·设计
栗子叶11 小时前
网页接收服务端消息的几种方式
前端·websocket·http·通信
菩提小狗11 小时前
Sqli-Labs Less-3 靶场完整解题流程解析-豆包生成
前端·css·less
智航GIS11 小时前
10.5 PyQuery:jQuery 风格的 Python HTML 解析库
python·html·jquery
澄江静如练_11 小时前
优惠券提示文案表单项(原生div写的)
前端·javascript·vue.js
C_心欲无痕11 小时前
ts - 关于Object、object 和 {} 的解析与区别
开发语言·前端·javascript·typescript
L Jiawen11 小时前
【Windows 系统】Chrome浏览器退出登录状态失效
前端·chrome·windows
IT_陈寒11 小时前
Java并发编程实战:从入门到精通的5个关键技巧,让我薪资涨了40%
前端·人工智能·后端
全栈前端老曹11 小时前
【包管理】read-pkg-up 快速上手教程 - 读取最近的 package.json 文件
前端·javascript·npm·node.js·json·nrm·package.json
程序员爱钓鱼12 小时前
Node.js 编程实战:测试与调试 —— 调试技巧与性能分析
前端·后端·node.js