前言
最近在看一本《ChatGLM3大模型本地化部署、应用开发和微调》，本文就是讨论ChatGLM3在本地的初步布设。（模型文件来自魔塔社区）
1、建立Pycharm工程
采用的Python版本为3.11
2、安装对应的包
2.1、安装modelscope包
pip install modelscope -i https://pypi.tuna.tsinghua.edu.cn/simple
如下图：
2.2、安装transformers包
pip install transformers==4.40.0 -i https://pypi.tuna.tsinghua.edu.cn/simple
如下图：
2.3、安装cuda版本的Pytorch
可以参照我的另外一篇博客：
https://quickrubber.blog.csdn.net/article/details/145824058
包的安装顺序：
pip install sympy==1.13.3 -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install networkx==3.4.2 -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install mkl==2021.4.0 -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install "f:\pytorch_\torch-2.3.1+cu121-cp311-cp311-win_amd64.whl"
pip install sentencepiece -i https://pypi.tuna.tsinghua.edu.cn/simple
2.4、包安装完毕后的版本截图
3、Cpu版本和Cuda版本程序的运行比较
3.1、cpu版本的程序运行
3.2、cuda版本的程序运行
可见相同的情况之下，二者的速度差距还是有点大的。Cuda大概是cpu的14倍左右。
本机使用的配置是cpu是intel i9-9900K，显卡Nvidia Gerforce2080。