阿里云交互式建模(PAI-DSW)训练并微调推理ChatGLM模型

参考内容为《轻量微调和推理ChatGLM模型实践》

点击"交互式建模(DSW)",然后选择"创建实例"

写上实例名称,然后选择GPU规格,选择"ecs.gn6v-c8g1.2xlarge(8 vCPU,32GB)"

页面往下拉选择"pytorch:1.12-gpu-py39-cu113-ubuntu20.04"这个官方镜像,然后点击下一步。

在确认订单这里点击创建实例。

等着状态是运行中,然后点击打开。

选择notebook中Python 3(ipykernel)。

进入到下边的页面。

python 复制代码
import os
dsw_region = os.environ.get("dsw_region")
url_link = {
    "cn-shanghai": "https://atp-modelzoo-sh.oss-cn-shanghai-internal.aliyuncs.com/release/tutorials/chatGLM/ChatGLM-6B-main.tar.gz",
    "cn-hangzhou": "https://atp-modelzoo.oss-cn-hangzhou-internal.aliyuncs.com/release/tutorials/chatGLM/ChatGLM-6B-main.tar.gz",
    "cn-shenzhen": "https://atp-modelzoo-sz.oss-cn-shenzhen-internal.aliyuncs.com/release/tutorials/chatGLM/ChatGLM-6B-main.tar.gz",
    "cn-beijing": "https://atp-modelzoo-bj.oss-cn-beijing-internal.aliyuncs.com/release/tutorials/chatGLM/ChatGLM-6B-main.tar.gz", 
}

执行上边代码获取当前地域的下载链接。

添加代码框。

python 复制代码
path = url_link[dsw_region]
os.environ['LINK_CHAT'] = path
!wget $LINK_CHAT
!tar -xvf ChatGLM-6B-main.tar.gz

根据获取到的下载链接下载ChatGLM-6B数据。

python 复制代码
!cd ChatGLM-6B-main && pip install -r requirements.txt && \
pip install rouge_chinese nltk jieba datasets 

安装相关依赖。

执行完成之后:

!cd ChatGLM-6B-main/ptuning && wget https://atp-modelzoo-sh.oss-cn-shanghai.aliyuncs.com/release/tutorials/chatGLM/AdvertiseGen_Simple.zip && unzip AdvertiseGen_Simple.zip获取公共样例数据(AdvertiseGen_Simple)。

!cd ChatGLM-6B-main/ptuning && bash train.sh模型微调。生成的模型文件保存在./ChatGLM-6B-main/ptuning/chatglm-6b路径下。

!cd ChatGLM-6B-main/ptuning && bash evaluate.sh进行模型推理。

模型推理成功后,生成的推理结果保存在./ChatGLM-6B-main/ptuning/output/adgen-chatglm-6b-pt-8-1e-2/generated_predictions.txt

鼠标点击对应目录两下。

鼠标点击web_demo.py两下。

图中圈中的部分都改成./ptuning/output/adgen-chatglm-6b-pt-8-1e-2/checkpoint-6,然后按下Ctrl+s进行保存。

点击"Untitled.ipynb"。

!pwd看一下当前目录,!ls -l看一下当前目录里边的内容。

!cd ChatGLM-6B-main/ && python web_demo.py进入到目录里边,然后启动ChatGLM Web端,可以点击http://127.0.0.1:7860

显示页面如下图:

问它"什么是ChatGPT中的GPT?",然后点击Generate

在控制台点击删除。

选择删除实例。

删除完成之后如下图:

相关推荐
xiao5kou4chang6kai415 分钟前
Python-GEE遥感云大数据分析与可视化(如何建立基于云计算的森林监测预警系统)
python·数据分析·云计算·森林监测·森林管理
小苹果13572 小时前
阿里云mysql数据丢失,如何通过服务器备份在其他服务器上恢复数据,并获取mysql丢失数据,完成mysql数据恢复
服务器·mysql·阿里云
ZStack开发者社区8 小时前
首批 | 云轴科技ZStack加入施耐德电气技术本地化创新生态
人工智能·科技·云计算
爱思德学术12 小时前
中国计算机学会(CCF)推荐学术会议-B(计算机体系结构/并行与分布计算/存储系统):SOCC 2025
网络协议·机器学习·云计算·边缘计算
Britz_Kevin16 小时前
从零开始的云计算生活——番外2,MySQL组复制
数据库·mysql·云计算·生活·#组复制
AKAMAI1 天前
在Akamai平台上进行VOD转码的参考架构
后端·云原生·云计算
科技云报道1 天前
科技云报到:云智融合双buff,AI已开挂
云计算
阿里云大数据AI技术2 天前
ODPS 15周年开发者活动|征文+动手实践双赛道开启,参与活动赢定制好礼!
大数据·人工智能·云计算
慧星云2 天前
ComfyUI工作流 :一键二次元角色转真人
人工智能·云计算·aigc