第六篇-ChatGLM2-6B-CentOS安装部署-GPU版

环境

复制代码
系统:CentOS-7
CPU: 14C28T
显卡:Tesla P40 24G
驱动: 515
CUDA: 11.7
cuDNN: 8.9.2.26

模型文件

https://huggingface.co/THUDM/chatglm2-6b

下载模型相关文件到自己目录

我的是/models/chatglm2-6b

复制代码
[root@ai-server chatglm2-6b]# pwd
/models/chatglm2-6b
[root@ai-server chatglm2-6b]# ll -h
total 12G
-rw-r--r--. 1 root root   678 Jul 29 09:30 cli.py
-rw-r--r--. 1 root root  1.2K Jul 29 09:30 config.json
-rw-r--r--. 1 root root  2.2K Jul 29 09:30 configuration_chatglm.py
-rw-r--r--. 1 root root   50K Jul 29 09:30 modeling_chatglm.py
-rw-r--r--. 1 root root  4.1K Jul 29 09:30 MODEL_LICENSE.txt
-rw-r--r--. 1 root root  1.8G Jul 29 09:33 pytorch_model-00001-of-00007.bin
-rw-r--r--. 1 root root  1.9G Jul 29 09:33 pytorch_model-00002-of-00007.bin
-rw-r--r--. 1 root root  1.8G Jul 29 09:33 pytorch_model-00003-of-00007.bin
-rw-r--r--. 1 root root  1.7G Jul 29 09:33 pytorch_model-00004-of-00007.bin
-rw-r--r--. 1 root root  1.9G Jul 29 09:33 pytorch_model-00005-of-00007.bin
-rw-r--r--. 1 root root  1.8G Jul 29 09:33 pytorch_model-00006-of-00007.bin
-rw-r--r--. 1 root root 1005M Jul 29 09:32 pytorch_model-00007-of-00007.bin
-rw-r--r--. 1 root root   20K Jul 29 09:30 pytorch_model.bin.index.json
-rw-r--r--. 1 root root   15K Jul 29 09:30 quantization.py
-rw-r--r--. 1 root root   348 Jul 29 09:30 README-env.md
-rw-r--r--. 1 root root  7.9K Jul 29 09:30 README.md
-rw-r--r--. 1 root root  9.9K Jul 29 09:30 tokenization_chatglm.py
-rw-r--r--. 1 root root   244 Jul 29 09:30 tokenizer_config.json
-rw-r--r--. 1 root root  995K Jul 29 09:30 tokenizer.model

创建环境安

复制代码
conda create --name glm2 python=3.10
conda activate glm2

下载代码工程

复制代码
git clone https://github.com/THUDM/ChatGLM2-6B
cd ChatGLM2-6B

安装依赖:

复制代码
pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
python web_demo.py

修改代码

web_demo.py

复制代码
tokenizer = AutoTokenizer.from_pretrained("/models/chatglm2-6b", trust_remote_code=True)
model = AutoModel.from_pretrained("/models/chatglm2-6b", trust_remote_code=True).cuda()

demo.queue().launch(share=False, inbrowser=True,server_name='0.0.0.0', server_port=7860)

启动

复制代码
python web_demo.py

Running on local URL:  http://0.0.0.0:7860

To create a public link, set `share=True` in `launch()`.

说明启动成功

访问

复制代码
http://192.168.1.100:7860

你好
你好👋!我是人工智能助手 ChatGLM2-6B,很高兴见到你,欢迎问我任何问题。

系列文章

第一篇-ChatGLM-webui-Windows安装部署-CPU版
第二篇-二手工作站配置
第三篇-Tesla P40+CentOS-7+CUDA 11.7 部署实践
第四篇-Miniconda3-CentOS7-安装
第五篇-ChatGLM2-6B模型下载
第六篇-ChatGLM2-6B-CentOS安装部署-GPU版

相关推荐
对你无可奈何2 小时前
给 ComfyUI 做了一个手机助手
人工智能
feasibility.3 小时前
英伟达把物理AI的3D模型“应用商店”开放了:2575个SimReady仿真资产,总计约472GB,可让agent装配机器人训练场景
人工智能·3d·机器人·仿真·建模·具身智能·英伟达
智联视频超融合平台4 小时前
消防宣传月过半,“AI+消防“给视频平台换了张考卷
人工智能·边缘计算·视频监控·安防·视频联网
冬奇Lab4 小时前
一天一个开源项目(第262篇):AG-UI —— 把 AI Agent 接进前端的开放协议,和 MCP、A2A 并列的第三块拼图
人工智能·开源
飞奔的瓜牛5 小时前
Nginx 生产环境运维实践:常见问题、关注要点与日常维护
运维·nginx
罗西的思考5 小时前
【轻量化复现大模型 / KIMI K3】MTP / EAGLE‑3 模块交互式演示
人工智能·深度学习·算法
RobinDevNotes6 小时前
Claude Code 剪视频,不上传、不要 API Key
人工智能·python·音视频·开发工具·ipython
stormzhangV6 小时前
Coding Agent,通往 AGI 的重要一环
人工智能·agent·ai编程
Bowen_J8 小时前
Apple Foundation Models:Apple AI核心框架
人工智能·ai编程·apple