我的AIGC部署实践01

尼尔-冯-哈尔滨2023-11-05 1:32

我的AIGC部署实践01

Hello 大家好，时隔快一年我又回来了，这段时间因为家里有事情失业了一段时间，不过学习的事情不能荒废。我自己通过读AIGC的文章和看相关的代码积累了一定的知识和理解，不过部署的事情还没有涉及，这次正好遇到了datawhale学习的机会，所以就迫不及待尝试，好了废话少说，我们开始吧。

1.免费算力领取

本次使用的算力平台是驱动云，注册后可以领取免费算力，可以在右上角的算力

2.部署ChatGLM3-6B模型

2.1创建项目

创建好账号后点击右上角的创建项目创建自己的项目

给自己的项目起一个名字

镜像选择pytorch2.0.1，python3.9

选择预训练模型，选择公开，选择如下图所示的模型

点击右下角的创建，完成任务创建

2.2配置环境-修改代码

点击右上角的加号，进入控制台
2.3设置镜像源、克隆项目

在控制台依次输入

复制代码

##打开新的会话窗口
tmux

##升级apt，安装unzip
apt-get update && apt-get iinstall unzip

##设置镜像源，升级pip
git config --global url."https://gitclone.com/".insteadOf https://
pip config set global.index-url https://mirrors.ustc.edu.cn/pypi/web/simple
python3 -m pip install --upgrade pip

##克隆项目，并进入项目目录
git clone https://github.com/THUDM/ChatGLM3.git
cd ChatGLM3

修改requirements

将requirements.txt文件其中的torch删掉，避免重复下载

返回终端，安装依赖

复制代码

 pip install -r requirements.txt

修改web_demo2.py

将web_demo2.py的34、35行的模型地址修改为 .../.../pretrain

修改web_demo.py

将web_demo.py的6、7行的模型地址修改为 .../.../pretrain

将下方的启动代码修改为

复制代码

demo.queue().launch(share=False,server_name="0.0.0.0",server_port=7000)

同时在外部添加端口7000

2.4运行代码

复制代码

python web_demo.py

输出界面如下：