AttributeError: ‘ChatGLMTokenizer‘ object has no attribute ‘sp_tokenizer‘. 已解决

📑打牌 : da pai ge的个人主页

🌤️个人专栏 : da pai ge的博客专栏

☁️宝剑锋从磨砺出,梅花香自苦寒来

☁️运维工程师的职责:监控,备份,应急故障处理

​​

目录


解决方法1:有可能安装torch时候缺少了相关依赖包

把缺少的cudatoolkit和其他包安装一下:

复制代码
conda install pytorch torchvision torchaudio cudatoolkit=10.2 -c pytorch

如果下载安装慢可以加上:

复制代码
-i  https://pypi.tuna.tsinghua.edu.cn/simple/

执行完这个命令后,解决。

解决方法2:

升级numpy库到新版:

复制代码
pip install --upgrade numpy

解决方法3:

可能是系统缺少了缺少C++运行库:C++ Redistributable

下载地址:https://www.microsoft.com/zh-cn/download/confirmation.aspx?id=48145

下载后安装即可

导致该问题的主要原因是transformers版本的问题。

原始的transformer版本为4.29.2:

再结合自己原本的虚拟环境中有trl和vllm,也对transformers有一定的限定,因此安装transformers 4.33.1解决该问题。如果没有trl和vllm的限制,只需要安装transformers<4.34即可。

复制代码
pip uninstall transforms 
在
pip install transforms 
相关推荐
加油乐17 分钟前
vue3实现表格动态列及自定义列排序
前端·vue.js
Hide Asn1 小时前
css-css执行的三种方式和css选择器
前端·css
萌新小白的逆袭1 小时前
HTML的重要知识
前端·html
移动端小伙伴1 小时前
《iOS 通知系统全解》目录索引
前端·swift
罗密欧与猪过夜6761 小时前
React中的State为什么要叫做照片快照
前端
xyccstudio1 小时前
关于 expandSafeArea 不生效问题
前端
独立开阀者_FwtCoder1 小时前
2025年每个开发者都必须知道的100多个JavaScript术语(附示例)
前端·javascript·vue.js
wwy_frontend1 小时前
积累:03-ES6
前端
鹏程十八少1 小时前
1. Android 组件化一 Arounter核心路由框架 原理深入解析 和实战
前端
Yodame1 小时前
webpack+vite前端构建工具全掌握(上篇)
前端