参考内容为《轻量微调和推理ChatGLM模型实践》
点击"交互式建模(DSW)",然后选择"创建实例"
写上实例名称,然后选择GPU规格,选择"ecs.gn6v-c8g1.2xlarge(8 vCPU,32GB)"
页面往下拉选择"pytorch:1.12-gpu-py39-cu113-ubuntu20.04"这个官方镜像,然后点击下一步。
在确认订单这里点击创建实例。
等着状态是运行中,然后点击打开。
选择notebook中Python 3(ipykernel)。
进入到下边的页面。
python
import os
dsw_region = os.environ.get("dsw_region")
url_link = {
"cn-shanghai": "https://atp-modelzoo-sh.oss-cn-shanghai-internal.aliyuncs.com/release/tutorials/chatGLM/ChatGLM-6B-main.tar.gz",
"cn-hangzhou": "https://atp-modelzoo.oss-cn-hangzhou-internal.aliyuncs.com/release/tutorials/chatGLM/ChatGLM-6B-main.tar.gz",
"cn-shenzhen": "https://atp-modelzoo-sz.oss-cn-shenzhen-internal.aliyuncs.com/release/tutorials/chatGLM/ChatGLM-6B-main.tar.gz",
"cn-beijing": "https://atp-modelzoo-bj.oss-cn-beijing-internal.aliyuncs.com/release/tutorials/chatGLM/ChatGLM-6B-main.tar.gz",
}
执行上边代码获取当前地域的下载链接。
添加代码框。
python
path = url_link[dsw_region]
os.environ['LINK_CHAT'] = path
!wget $LINK_CHAT
!tar -xvf ChatGLM-6B-main.tar.gz
根据获取到的下载链接下载ChatGLM-6B数据。
python
!cd ChatGLM-6B-main && pip install -r requirements.txt && \
pip install rouge_chinese nltk jieba datasets
安装相关依赖。
执行完成之后:
!cd ChatGLM-6B-main/ptuning && wget https://atp-modelzoo-sh.oss-cn-shanghai.aliyuncs.com/release/tutorials/chatGLM/AdvertiseGen_Simple.zip && unzip AdvertiseGen_Simple.zip
获取公共样例数据(AdvertiseGen_Simple)。
!cd ChatGLM-6B-main/ptuning && bash train.sh
模型微调。生成的模型文件保存在./ChatGLM-6B-main/ptuning/chatglm-6b
路径下。
!cd ChatGLM-6B-main/ptuning && bash evaluate.sh
进行模型推理。
模型推理成功后,生成的推理结果保存在./ChatGLM-6B-main/ptuning/output/adgen-chatglm-6b-pt-8-1e-2/generated_predictions.txt
。
鼠标点击对应目录两下。
鼠标点击web_demo.py
两下。
图中圈中的部分都改成./ptuning/output/adgen-chatglm-6b-pt-8-1e-2/checkpoint-6
,然后按下Ctrl+s进行保存。
点击"Untitled.ipynb"。
!pwd
看一下当前目录,!ls -l
看一下当前目录里边的内容。
!cd ChatGLM-6B-main/ && python web_demo.py
进入到目录里边,然后启动ChatGLM Web端,可以点击http://127.0.0.1:7860
。
显示页面如下图:
问它"什么是ChatGPT中的GPT?",然后点击Generate
。
在控制台点击删除。
选择删除实例。
删除完成之后如下图: