ChatGLM2-6B的部署步骤_A3

ChatGLM2-6B 下载地址

一、VisualGLM-6B环境安装

1、硬件配置

操作系统：Ubuntu_64（ubuntu22.04.3）

GPU：4050

显存：16G

2、配置环境

建议最好自己新建一个conda环境

conda create -n chatglm2 python==3.8

pip install -r requirements.txt -i https://pypi.mirrors.ustc.edu.cn/simple 

二、本地加载chatglm2-6b-int4模型

打开pycharm运行

web_demo.py

或

python web_demo.py

运行成功：

或终端运行：

streamlit run web_demo21.py

pip install gradio==3.40.0

cpolar http xxxx

端口

/anaconda3/envs/chatglm2/lib/python3.8/site-packages/gradio$

networking.py