本地GPT-window平台 搭建ChatGLM3-6B

一 ChatGLM-6B 介绍

ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型,新一代开源模型 ChatGLM3-6B 已发布,拥有10B以下最强的基础模型,支持工具调用(Function Call)、代码执行(Code Interpreter)、Agent 任务等功能,结合模型量化技术,用户可以在消费级的显卡上进行本地部署(INT4 量化级别下最低只需 6GB 显存)。

二 在 window平台 搭建ChatGLM3-6B

1 在github下拉该项目代码:

1 下拉项目源代码:

https://github.com/THUDM/ChatGLM-6B

bash 复制代码
git clone https://github.com/THUDM/ChatGLM-6B
cd ChatGLM-6B

2 下载项目数据模型

国内可下载地址:魔搭社区

下载的模型数据保存位置:

如果保存在别的地方需要指定配置模型路径的系统变量,也可以直接修改以下代码,如下图:

2 环境安装

使用 pip 安装依赖:pip install -r requirements.txt

bash 复制代码
pip install -r requirements.txt

**注意:**项目没有有明确说支持什么平台,当安装依赖时会报错,因为有一个vllm是不支持windows平台的,所以安装依赖时要注释掉一个依赖 vllm,其作用是加速推理项目可以不用,该框架的官方网站明确只支持linux,如下图:

检查pytorch环境

python 复制代码
import torch


if __name__ == '__main__':
    # 检测cuda环境
    print(torch.__version__)
    print(torch.cuda.is_available())
    print(torch.version.cuda)

pytorch正常,cuda可用如下图:

如果这一步有问题,请查看之前的文章:https://blog.csdn.net/qyhua/article/details/136248165

3 启动项目

启动演示项目:

bash 复制代码
cd basic_demo
python web_demo_gradio.py

启动过程中,大概要有4G左右的空闲内存,如果内存不够启动失败,且没有任何提示,如下图:

测试成功如下图:

由于我的电脑配置低,3060的显卡只有12G显存,所以这里改了一下代码。

这里测试了一下,当量化参数设置成8 时GPU内存大概使用了8G多,当设置成4时,只用了4G多,如下图:

bash 复制代码
model = AutoModel.from_pretrained(model_dir, trust_remote_code=True).quantize(8).cuda()

量化参数设置成8时的效果图,回复比4快。

量化参数设置成4时 ,系统本身用了1.5G,模型大概使用了4G多。如下图:

相关推荐
the3clipse5 小时前
系统盘怎么无损从 MBR 转 GPT 并开启 UEFI 启动?mbr2gpt 完整教程
gpt·mbr·uefi启动·无损转换分区表·bcdboot·引导修复
一缕82年的清风9 小时前
百万 Token 砍到 0.5 美元!微软新模型半价、DeepSeek 连夜撤回搜索费,11 月底开发者怎么搭最省钱?
gpt·claude·deepseek
翰墨之道19 小时前
AI日报:豆包工作ARR超20亿,GPT-6.2跑分与实测割裂
人工智能·gpt·数据挖掘
Maynor99620 小时前
Trymodel 使用介绍:一个平台同时用 Claude、GPT、Gemini 和 Grok
人工智能·gpt·ai·程序员·教程·claude·语音
bryant_meng1 天前
ChatGPT Desktop Model Evolution (2025): From GPT-4.1 to GPT-5.1
gpt·chatgpt·gpt4·gpt4o·gpt5
一缕82年的清风1 天前
谷歌甩出 Gemini 4 Neon:Agent 编程榜登顶第一、缓存仅 $0.15,把刚发的 GPT-6.2 架在火上烤!
gpt·claude·gemini
2301_767113982 天前
GPT-6.2 Astra 和 Sol 发布:真正变化的是长任务成本与交付方式
gpt
zdr尽职尽责2 天前
终端工具凭空消失:Codex + GPT-6 的一次完整排障复盘
数据库·gpt·学习·ai
一缕82年的清风2 天前
OpenAI 突发 GPT-6.2:Sol 提速 8 倍跑分追平旗舰,但这 1 处暗改会让缓存直接失效!
gpt·chatgpt
回眸&啤酒鸭3 天前
【回眸】GPT-6.1 Sol 新手快速上手指南
gpt