【私有GPT】CHATGLM-6B部署教程

【私有GPT】CHATGLM-6B部署教程

CHATGLM-6B是什么?

ChatGLM-6B是清华大学知识工程和数据挖掘小组(Knowledge Engineering Group (KEG) & Data Mining at Tsinghua University)发布的一个开源的对话机器人。根据官方介绍,这是一个千亿参数规模的中英文语言模型。并且对中文做了优化。本次开源的版本是其60亿参数的小规模版本,约60亿参数,本地部署仅需要6GB显存。

项目地址: https://github.com/THUDM/ChatGLM-6B

我们也可以访问他的体验版

https://chatglm.cn/

ChatGLM API申请:https://open.bigmodel.cn/

算力云

注册地址:https://www.autodl.com/

注册可参考我的这篇文章

https://zhuanlan.zhihu.com/p/644911677

AutoDL是一个GPU租用平台,有各种型号的服务器可以选择。网络无要求,部署简单,比较稳定,价格也还好。

对电脑系统没有要求,无论是Mac电脑还是低配的windows电脑,完全云端部署,自己租服务器,浏览器打开即可。全部在云端完成,有很多服务器可以选择,可以根据自己需求租相应配置的服务器。

部署教程

项目硬件要求

租用一台机器

这个配置按照我来说是完全够用了。配置仅供参考

不知道怎么选的话,可以看这个链接 https://www.autodl.com/docs/gpu/?spm=a2c6h.12873639.article-detail.147.11146459CRKD9O

选择镜像

选择社区镜像

然后点击右下角的立即创建

就会跳转到此页面,等待实例创建完成

创建完成后


温馨提示:实例不用后一定要记得关机!!!

就会进入此页面

启动web服务

执行以下命令

shell 复制代码
cd ChatGLM-6B/

python web_demo.py 

默认开放端口 6006

访问服务

然后回到上个页面

这样就可以看见你的服务了

使用实例

启动api服务

由于示例只会对我们开放6006端口,所以我们需要将api服务改为6006端口访问,当然你也可以采用NGINX的方式,这里就只介绍修改端口的方式了。

shell 复制代码
vi api.py

完成后保存

运行命令

shell 复制代码
python api.py

和访问web的一样操作步骤一样,参考web服务的访问服务模块

请求示例:

shell 复制代码
curl -X POST "http://127.0.0.1:8000" \
     -H 'Content-Type: application/json' \
     -d '{"prompt": "你好", "history": []}'

当前这里的 http://127.0.0.1:8000修改为你的实例地址

例如

启动cli服务

运行命令

 python cli_demo.py 

使用示例:

我是AI学习者和实践者荷逸,欢迎链接我交流AI相关知识:wx:heyi_master

相关推荐
知来者逆14 小时前
使用 GPT-4V 全面评估泛化情绪识别 (GER)
人工智能·gpt·语言模型·自然语言处理·gpt-4v
github_czy14 小时前
使用GPT-SoVITS训练语音模型
人工智能·gpt
Yeats_Liao19 小时前
昇思大模型平台打卡体验活动:基于MindSpore实现GPT1影评分类
gpt·分类·数据挖掘
龙的爹233321 小时前
论文 | Evaluating the Robustness of Discrete Prompts
人工智能·gpt·自然语言处理·nlp·prompt·agi
大数据面试宝典1 天前
【Ai测评】GPT Search偷偷上线,向Google和微软发起挑战!
人工智能·gpt·ai测评·ai之家
灰哥数据智能1 天前
DB-GPT系列(二):DB-GPT部署(镜像一键部署、源码部署)
python·gpt·语言模型·数据分析
开发者每周简报2 天前
ChatGPT o1与GPT-4o、Claude 3.5 Sonnet和Gemini 1.5 Pro的比较
人工智能·gpt·chatgpt
Topstip2 天前
在 Google Chrome 上查找并安装 SearchGPT 扩展
前端·人工智能·chrome·gpt·ai·chatgpt
AIBox3652 天前
斯坦福医学部发布GPT润色本子教程
gpt·chatgpt·aigc
小万编程3 天前
基于SpringBoot+Gpt个人健康管家管理系统【提供源码+答辩PPT+参考文档+项目部署】
spring boot·后端·gpt·实战项目·项目源码·java毕业设计