智谱大模型(ChatGLM3)PyCharm的调试指南

前言

最近在看一本《ChatGLM3大模型本地化部署、应用开发和微调》,本文就是讨论ChatGLM3在本地的初步布设。(模型文件来自魔塔社区)

1、建立Pycharm工程

采用的Python版本为3.11

2、安装对应的包

2.1、安装modelscope包

pip install modelscope -i https://pypi.tuna.tsinghua.edu.cn/simple

如下图:

2.2、安装transformers包

pip install transformers==4.40.0 -i https://pypi.tuna.tsinghua.edu.cn/simple

如下图:

2.3、安装cuda版本的Pytorch

可以参照我的另外一篇博客:

https://quickrubber.blog.csdn.net/article/details/145824058

包的安装顺序:

pip install sympy==1.13.3 -i https://pypi.tuna.tsinghua.edu.cn/simple

pip install networkx==3.4.2 -i https://pypi.tuna.tsinghua.edu.cn/simple

pip install mkl==2021.4.0 -i https://pypi.tuna.tsinghua.edu.cn/simple

pip install "f:\pytorch_\torch-2.3.1+cu121-cp311-cp311-win_amd64.whl"

pip install sentencepiece -i https://pypi.tuna.tsinghua.edu.cn/simple

2.4、包安装完毕后的版本截图

3、Cpu版本和Cuda版本程序的运行比较

3.1、cpu版本的程序运行

3.2、cuda版本的程序运行

可见相同的情况之下,二者的速度差距还是有点大的。Cuda大概是cpu的14倍左右。

本机使用的配置是cpu是intel i9-9900K,显卡Nvidia Gerforce2080。

相关推荐
爱分享的飘哥14 分钟前
第三十九章:AI导演的“魔法时间轴”:文生视频与Video Latent扩散结构
人工智能·文生视频·ai视频生成·ai架构·videodiffusion·videolatent
张较瘦_1 小时前
[论文阅读] 人工智能 + 软件工程 | Trae Agent:让AI智能体高效解决仓库级软件问题,登顶SWE-bench排行榜
论文阅读·人工智能·软件工程
啊哈哈哈哈哈啊哈哈1 小时前
G9打卡——ACGAN
python·生成对抗网络·gan
ALLSectorSorft1 小时前
相亲小程序用户注册与登录系统模块搭建
java·大数据·服务器·数据库·python
nuoxin1141 小时前
CY7C68013A-56LTXC -USB2.0控制器芯片-富利威,国产CBM9002A-56ILG可替代
网络·人工智能·单片机·嵌入式硬件·硬件工程
落叶阳光1 小时前
2025.8-12月 AI相关国内会议
人工智能·会议
FL16238631292 小时前
红花识别分割数据集labelme格式144张1类别
人工智能·深度学习
程序员JerrySUN2 小时前
OpenCV 全解读:核心、源码结构与图像/视频渲染能力深度对比
linux·人工智能·驱动开发·opencv·计算机视觉·缓存·音视频
caisexi2 小时前
Windows批量启动java服务bat脚本
java·windows·python
张较瘦_2 小时前
[论文阅读] 人工智能 + 软件工程 | GitHub Marketplace中CI Actions的功能冗余与演化规律研究
论文阅读·人工智能·软件工程