前言
最近在看一本《ChatGLM3大模型本地化部署、应用开发和微调》,本文就是讨论ChatGLM3在本地的初步布设。(模型文件来自魔塔社区)
1、建立Pycharm工程
采用的Python版本为3.11

2、安装对应的包
2.1、安装modelscope包
pip install modelscope -i https://pypi.tuna.tsinghua.edu.cn/simple
如下图:

2.2、安装transformers包
pip install transformers==4.40.0 -i https://pypi.tuna.tsinghua.edu.cn/simple
如下图:

2.3、安装cuda版本的Pytorch
可以参照我的另外一篇博客:
https://quickrubber.blog.csdn.net/article/details/145824058
包的安装顺序:
pip install sympy==1.13.3 -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install networkx==3.4.2 -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install mkl==2021.4.0 -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install "f:\pytorch_\torch-2.3.1+cu121-cp311-cp311-win_amd64.whl"
pip install sentencepiece -i https://pypi.tuna.tsinghua.edu.cn/simple
2.4、包安装完毕后的版本截图
3、Cpu版本和Cuda版本程序的运行比较
3.1、cpu版本的程序运行
3.2、cuda版本的程序运行
可见相同的情况之下,二者的速度差距还是有点大的。Cuda大概是cpu的14倍左右。
本机使用的配置是cpu是intel i9-9900K,显卡Nvidia Gerforce2080。