【大语言模型】Docker部署清华大学ChatGLM3教程

官方地址:https://github.com/THUDM/ChatGLM3

1 将代码保存至本地

方法1:

git clone https://github.com/THUDM/ChatGLM3

方法2:

https://github.com/THUDM/ChatGLM3/archive/refs/heads/main.zip

2 创建Docker文件

注:请先完成Docker安装,安装方式参考:

Docker使用及本地Yolov5打包教程_Father_of_Python的博客-CSDN博客

①新建一个Dockerfile

②文件中写入:

#基于的基础镜像
FROM python:3.11.6
#代码添加到code文件夹
ADD . /usr/src/app/uniform/ChatGLM3
# 设置code文件夹是工作目录
WORKDIR /usr/src/app/uniform/ChatGLM3
# 安装支持
RUN pip install -i https://pypi.tuna.tsinghua.edu.cn/simple/ -r requirements.txt

3 创建Docker

①运行以下指令:

docker build -t chatglm3 .
docker run -it --gpus all --net=host --ipc=host --privileged=true --name test01 --ulimit core=-1 -v F:/ChatGLM3:/usr/src/app/uniform/ChatGLM3 env LANG=C.UTF-8 /bin/bash

注意:请将以上命令的 F:/ChatGLM3 改为你将项目保存至本地的路径。

②查看运行情况:

4 进入Docker中执行命令

执行命令:

cd /usr/src/app/uniform/ChatGLM3/basic_demo
python web_demo.py

此时会进行权重文件的下载,时间可能比较长。如果有梯子,记得开启全局模式。如果没有梯子,可以手动下载:chatglm3-6b

5 完成后测试

显示成功:

6 composite_demo测试

cd /usr/src/app/uniform/ChatGLM3/composite_demo
pip install -r requirements.txt
streamlit run main.py

运行成功:

相关推荐
春末的南方城市26 分钟前
FLUX的ID保持项目也来了! 字节开源PuLID-FLUX-v0.9.0,开启一致性风格写真新纪元!
人工智能·计算机视觉·stable diffusion·aigc·图像生成
zmjia11127 分钟前
AI大语言模型进阶应用及模型优化、本地化部署、从0-1搭建、智能体构建技术
人工智能·语言模型·自然语言处理
jndingxin41 分钟前
OpenCV视频I/O(14)创建和写入视频文件的类:VideoWriter介绍
人工智能·opencv·音视频
AI完全体1 小时前
【AI知识点】偏差-方差权衡(Bias-Variance Tradeoff)
人工智能·深度学习·神经网络·机器学习·过拟合·模型复杂度·偏差-方差
GZ_TOGOGO1 小时前
【2024最新】华为HCIE认证考试流程
大数据·人工智能·网络协议·网络安全·华为
sp_fyf_20241 小时前
计算机前沿技术-人工智能算法-大语言模型-最新研究进展-2024-10-02
人工智能·神经网络·算法·计算机视觉·语言模型·自然语言处理·数据挖掘
新缸中之脑1 小时前
Ollama 运行视觉语言模型LLaVA
人工智能·语言模型·自然语言处理
卷心菜小温2 小时前
【BUG】P-tuningv2微调ChatGLM2-6B时所踩的坑
python·深度学习·语言模型·nlp·bug
胡耀超2 小时前
知识图谱入门——3:工具分类与对比(知识建模工具:Protégé、 知识抽取工具:DeepDive、知识存储工具:Neo4j)
人工智能·知识图谱
陈苏同学2 小时前
4. 将pycharm本地项目同步到(Linux)服务器上——深度学习·科研实践·从0到1
linux·服务器·ide·人工智能·python·深度学习·pycharm