window 安装大模型 chatglm.cpp

你好,我是 shengjk1,多年大厂经验,努力构建 通俗易懂的、好玩的编程语言教程。 欢迎关注!你会有如下收益:

  1. 了解大厂经验
  2. 拥有和大厂相匹配的技术等

希望看什么,评论或者私信告诉我!

一、 前言

在上一篇文章中window 安装大模型 chatglm-6b,可以运行效率很低,所以这一次我们安装 chatglm.cpp,github 上说这个是 C++实现的,可以在笔记本上实时回复用户问题,我们一起看一下能不能实时回复

二、准备工作

2.1 电脑

这是我工作使用的电脑配置,16G内存,Intel(R) 集成显卡。这里要吐槽一下,程序员千万不要使用 window,随便装点什么东西就很麻烦,用不了 mac 就用 linux,我这是公司电脑,后悔没早点装 unbantu 系统。

注意:这个电脑无法使用英伟达的GPU 具体参考 关于 AssertionError: Torch not compiled with CUDA enabled 问题

2.2 组件安装

VS studio 2022

cmake

TDM-GCC,注意,安装的时候直接选择全部安装就好。安装完在cmd中运行"gcc -v"测试是否成功即可( 我的电脑需要重启后才能执行 gcc -v )

三、 安装

3.1 下载源码

git clone --recursive github.com/li-plus/cha... && cd chatglm.cpp

3.2 下载模型

目前支持的模型:

bash 复制代码
ChatGLM-6B: THUDM/chatglm-6b, THUDM/chatglm-6b-int8, THUDM/chatglm-6b-int4
ChatGLM2-6B: THUDM/chatglm2-6b, THUDM/chatglm2-6b-int4
ChatGLM3-6B: THUDM/chatglm3-6b
CodeGeeX2: THUDM/codegeex2-6b, THUDM/codegeex2-6b-int4
Baichuan & Baichuan2: baichuan-inc/Baichuan-13B-Chat, baichuan-inc/Baichuan2-7B-Chat, baichuan-inc/Baichuan2-13B-Chat

这里以 THUDM/chatglm2-6b-int4 为例( 模型的量化版本,电脑配置比较高的可以试试 chatglm2-6b 或者 chatglm3-6b,毕竟在量化模型的基础上再次量化,效果会差很多), chatglm2-6b-int4 清华源 下载模型,从huggingface下载配置文件。如果网速比较好的话,可以忽略清华源直接从 huggingface中下载,下载结束后,统一保存到

D:\LLM\chatglm2-6b-int4

3.3 python 依赖安装

python 复制代码
python3 -m pip install -U pip
python3 -m pip install torch tabulate tqdm transformers accelerate sentencepiece

3.4 将下载好的大模型转为量化GGML 格式

python 复制代码
python3 chatglm_cpp/convert.py -i D:\LLM\chatglm2-6b-int4 -t q4_0 -o chatglm2-6b-int4-ggml.bin

不同的量化格式,结果精度损失不一样,-t的可选项有

vbnet 复制代码
q4_0: 4-bit integer quantization with fp16 scales.
vbnet 复制代码
q4_1: 4-bit integer quantization with fp16 scales and minimum values.
q5_0: 5-bit integer quantization with fp16 scales.
q5_1: 5-bit integer quantization with fp16 scales and minimum values.
q8_0: 8-bit integer quantization with fp16 scales.
f16: half precision floating point weights without quantization.
f32: single precision floating point weights without quantization.

3.5 编译项目通过 exe 文件运行大模型

python 复制代码
cmake -B build
cmake --build build -j --config Release

3.6 运行

3.6.1 普通的方式运行

python 复制代码
D:\LLM\chatglm.cpp\build\bin\Release\main -m chatglm2-int4-ggml.bin -p 你好

注意编译后 main.exe 的位置在

D:\LLM\chatglm.cpp\build\bin\Release

我的模型 chatglm2-int4-ggml.bin 位置在

D:\LLM\chatglm.cpp

3.6.2 交互方式运行

D:\LLM\chatglm.cpp\build\bin\Release\main -m chatglm2-int4-ggml.bin -i

3.7 python 绑定

3.7.1 python 环境安装

python 复制代码
pip install -U chatglm-cpp

3.7.2 pyton 访问

python 复制代码
import chatglm_cpp

pipeline = chatglm_cpp.Pipeline("D:\LLM\chatglm.cpp\chatglm2-int4-ggml.bin")
print(pipeline.chat([chatglm_cpp.ChatMessage(role="user", content="你好")]))

至此就可以在本地愉快的玩耍啦

3.7 总结

chatglm.cpp 的效率比 chatglm效率要高很多,可以试试

四、其他

4.1 模型量化

模型量化是通过将模型的各项参数和结构等信息进行数字化处理,将复杂的模型转换为数学形式,以便计算机能够更快速、准确地处理和分析。这样可以使模型更易于实施、验证和优化,从而提高模型的有效性和可靠性。

好处:

  1. 提高计算效率:量化后的模型更容易实施和计算,能够更快速、准确地进行预测和分析。
  2. 方便验证和改进:通过量化可以更清晰地了解模型的结构和参数,方便验证模型的有效性和进行优化改进。
  3. 便于应用:量化后的模型可以更容易地应用于实际问题中,提供更为实用的解决方案。

坏处:

  1. 信息损失:在量化的过程中,可能会损失一些模型精细的特征和信息,导致模型的准确性和可靠性受到影响。
  2. 可解释性下降:量化后的模型可能会变得更为复杂和抽象,对模型的解释和理解可能会变得更加困难。
  3. 难度增加:如果模型本身就很复杂,那么对其进行量化的难度也会增加,可能需要更多的技术和资源来实现。

4.2 如报错可参考

window 安装大模型 chatglm-6b

五、 参考网址

chatglm.cpp

六、总结

本文详解介绍了 chatglm.cpp 安装过程

相关推荐
Chrikk23 分钟前
Go-性能调优实战案例
开发语言·后端·golang
幼儿园老大*26 分钟前
Go的环境搭建以及GoLand安装教程
开发语言·经验分享·后端·golang·go
canyuemanyue26 分钟前
go语言连续监控事件并回调处理
开发语言·后端·golang
杜杜的man28 分钟前
【go从零单排】go语言中的指针
开发语言·后端·golang
测开小菜鸟29 分钟前
使用python向钉钉群聊发送消息
java·python·钉钉
Power20246661 小时前
NLP论文速读|LongReward:基于AI反馈来提升长上下文大语言模型
人工智能·深度学习·机器学习·自然语言处理·nlp
数据猎手小k1 小时前
AIDOVECL数据集:包含超过15000张AI生成的车辆图像数据集,目的解决旨在解决眼水平分类和定位问题。
人工智能·分类·数据挖掘
好奇龙猫1 小时前
【学习AI-相关路程-mnist手写数字分类-win-硬件:windows-自我学习AI-实验步骤-全连接神经网络(BPnetwork)-操作流程(3) 】
人工智能·算法
沉下心来学鲁班1 小时前
复现LLM:带你从零认识语言模型
人工智能·语言模型
数据猎手小k1 小时前
AndroidLab:一个系统化的Android代理框架,包含操作环境和可复现的基准测试,支持大型语言模型和多模态模型。
android·人工智能·机器学习·语言模型