【BUG】P-tuningv2微调ChatGLM2-6B时所踩的坑

0.前言

P-tuning v2的实验在网上一抓一大把,这里就说一下我在微调过程中遇到的有些bug,踩过的一些坑,在网上找了很久都没有一些好的解决方案,在这里记录一下。

1.下载预训练模型

在官方给出的教程中,并不需要预先将模型下载到本地,而是直接连接hugging face获取,但是!在国内因为限制问题,就会导致连接失败,于是需要将预训练模型预先下载到本地,放在ptuning目录下,比如

这里!我就踩到了第一个坑里,在大部分的教程中,一般会用

python 复制代码
git clone https://github.com/THUDM/ChatGLM2-6B.git

来下载预训练模型,但是!我又是等了好半天都没有下载下来。

所以,在这里倾情推荐智谱AI的下载连接:

chatglm2-6b-int4 · 模型库 (modelscope.cn)https://modelscope.cn/models/ZhipuAI/chatglm2-6b-int4/files 但是一定要用下面的这条指令下载到你的指定目录下

python 复制代码
pip install modelscope  # 安装modelscope
modelscope download --model ZhipuAI/chatglm2-6b-int4 --local_dir ./chatglm2-6b-int4 

2.torch.distributed.elastic.multiprocessing.errors.ChildFailedError

这个bug真的很恐怖,折磨了我三天,我在8月份微调的时候,相同的参数配置,并没有出现报错,结果10月份来,一直报错。看似是报错ChildFailedError,实际上你要看它上面那一部分的报错:

我们再对应到源码

这里的意思大概就是所用的load_dataset方法并没有"use_auth_token"这个参数 ,我大致查了一下,这个参数为True则使用公开数据集,为False则是使用私有数据集,我不知道是版本更新还是怎么的,我就直接删除了这个参数就好了。

相关推荐
starzy199016 分钟前
深入理解Scala隐式参数:上下文流转
开发语言·python·scala
wuyk5551 小时前
Spider-第16讲-线程池与竞态问题
大数据·爬虫·python·elasticsearch·搜索引擎
kyle~7 小时前
FastAPI --- 将业务能力以 API 的形式提供给外部系统
python·fastapi·前后端
aiotto资源分享8 小时前
Python 写 JSON 文件,程序中途退出会留下什么?
java·python·json·jsondecodeerror
Blockbuater_drug8 小时前
经典机器学习实战14:NLP 九件基础活:分词、词性标注到朴素贝叶斯
nlp·文本分类·朴素贝叶斯·nltk·情感分析·词袋模型·词性标注
梯度下降者8 小时前
Python信号量,条件变量,事件学习
python·条件变量·事件·信号量·线程通信
MSTcheng.9 小时前
【AI应用实战】用 FastAPI + SSE 做一个自己的 AI 聊天网页:流式输出、多轮对话与完整源码
人工智能·python·大模型·fastapi·sse·ai聊天助手
哈尔滨张谦蛋9 小时前
兰州大学 · 甘肃省可穿戴装备重点实验室 · 2027年博士招生
人工智能·深度学习
the局外人10 小时前
Python 实战检索优化:BM25、向量与重排
数据库·后端·python
__underline__10 小时前
冷门Python知识点006篇:Python 类体里的名字,能被"凭空造出来"
后端·python