智谱大模型(ChatGLM3)PyCharm的调试指南

前言

最近在看一本《ChatGLM3大模型本地化部署、应用开发和微调》,本文就是讨论ChatGLM3在本地的初步布设。(模型文件来自魔塔社区)

1、建立Pycharm工程

采用的Python版本为3.11

2、安装对应的包

2.1、安装modelscope包

pip install modelscope -i https://pypi.tuna.tsinghua.edu.cn/simple

如下图:

2.2、安装transformers包

pip install transformers==4.40.0 -i https://pypi.tuna.tsinghua.edu.cn/simple

如下图:

2.3、安装cuda版本的Pytorch

可以参照我的另外一篇博客:

https://quickrubber.blog.csdn.net/article/details/145824058

包的安装顺序:

pip install sympy==1.13.3 -i https://pypi.tuna.tsinghua.edu.cn/simple

pip install networkx==3.4.2 -i https://pypi.tuna.tsinghua.edu.cn/simple

pip install mkl==2021.4.0 -i https://pypi.tuna.tsinghua.edu.cn/simple

pip install "f:\pytorch_\torch-2.3.1+cu121-cp311-cp311-win_amd64.whl"

pip install sentencepiece -i https://pypi.tuna.tsinghua.edu.cn/simple

2.4、包安装完毕后的版本截图

3、Cpu版本和Cuda版本程序的运行比较

3.1、cpu版本的程序运行

3.2、cuda版本的程序运行

可见相同的情况之下,二者的速度差距还是有点大的。Cuda大概是cpu的14倍左右。

本机使用的配置是cpu是intel i9-9900K,显卡Nvidia Gerforce2080。

相关推荐
计算机编程小咖8 分钟前
《基于大数据的农产品交易数据分析与可视化系统》选题不当,毕业答辩可能直接挂科
java·大数据·hadoop·python·数据挖掘·数据分析·spark
居7然20 分钟前
大模型微调面试题全解析:从概念到实战
人工智能·微调
zhangfeng11331 小时前
以下是基于图论的归一化切割(Normalized Cut)图像分割工具的完整实现,结合Tkinter界面设计及Python代码示
开发语言·python·图论
haidizym1 小时前
质谱数据分析环节体系整理
大数据·人工智能·数据分析·ai4s
Godspeed Zhao1 小时前
Tesla自动驾驶域控制器产品(AutoPilot HW)的系统化梳理
人工智能·机器学习·自动驾驶
fsnine2 小时前
机器学习案例——预测矿物类型(模型训练)
人工智能·机器学习
数据知道2 小时前
机器翻译60天修炼专栏介绍和目录
人工智能·自然语言处理·机器翻译
flashlight_hi2 小时前
LeetCode 分类刷题:2529. 正整数和负整数的最大计数
python·算法·leetcode
Ashlee_code2 小时前
香港券商櫃台系統跨境金融研究
java·python·科技·金融·架构·系统架构·区块链
分布式存储与RustFS2 小时前
RustFS的边缘计算优化方案在5G MEC场景下的实测数据如何?
人工智能·5g·开源·边缘计算·rustfs