AttributeError: ‘ChatGLMTokenizer‘ object has no attribute ‘sp_tokenizer‘. 已解决

📑打牌 : da pai ge的个人主页

🌤️个人专栏 : da pai ge的博客专栏

☁️宝剑锋从磨砺出,梅花香自苦寒来

☁️运维工程师的职责:监控,备份,应急故障处理

​​

目录


解决方法1:有可能安装torch时候缺少了相关依赖包

把缺少的cudatoolkit和其他包安装一下:

复制代码
conda install pytorch torchvision torchaudio cudatoolkit=10.2 -c pytorch

如果下载安装慢可以加上:

复制代码
-i  https://pypi.tuna.tsinghua.edu.cn/simple/

执行完这个命令后,解决。

解决方法2:

升级numpy库到新版:

复制代码
pip install --upgrade numpy

解决方法3:

可能是系统缺少了缺少C++运行库:C++ Redistributable

下载地址:https://www.microsoft.com/zh-cn/download/confirmation.aspx?id=48145

下载后安装即可

导致该问题的主要原因是transformers版本的问题。

原始的transformer版本为4.29.2:

再结合自己原本的虚拟环境中有trl和vllm,也对transformers有一定的限定,因此安装transformers 4.33.1解决该问题。如果没有trl和vllm的限制,只需要安装transformers<4.34即可。

复制代码
pip uninstall transforms 
在
pip install transforms 
相关推荐
东风破_7 分钟前
ESLint 是什么?为什么你的项目需要它?
前端·后端·代码规范
圣殿骑士-Khtangc2 小时前
Go字符串高效拼接性能对比与底层原理分析
服务器·前端·golang
BigTopOne2 小时前
【ijkplayer】 硬解码流程
前端
kyriewen3 小时前
DeepSeek Harness开源第一天我就上手了——和Claude Code的差距比想象中大
前端·ai编程·deepseek
捡田螺的小男孩3 小时前
什么是 Skill?手把手带你写一个简单有用的 Skill!
前端·后端·程序员
IT_陈寒3 小时前
Redis集群这个坑,差点让我通宵
前端·人工智能·后端
90后的晨仔3 小时前
uni-app 路由跳转与页面导航 —— 终极详解(对标 iOS / Android / 鸿蒙三端原生)
前端
Heo4 小时前
大厂前端调试不能只会debugger
前端·javascript·面试
用户2181697049304 小时前
Flutter (十七) 网络请求
前端
cidy_984 小时前
React 19 + Vite 企业级前端项目:从零搭建到规范交付
前端