智谱大模型(ChatGLM3)PyCharm的调试指南

前言

最近在看一本《ChatGLM3大模型本地化部署、应用开发和微调》,本文就是讨论ChatGLM3在本地的初步布设。(模型文件来自魔塔社区)

1、建立Pycharm工程

采用的Python版本为3.11

2、安装对应的包

2.1、安装modelscope包

pip install modelscope -i https://pypi.tuna.tsinghua.edu.cn/simple

如下图:

2.2、安装transformers包

pip install transformers==4.40.0 -i https://pypi.tuna.tsinghua.edu.cn/simple

如下图:

2.3、安装cuda版本的Pytorch

可以参照我的另外一篇博客:

https://quickrubber.blog.csdn.net/article/details/145824058

包的安装顺序:

pip install sympy==1.13.3 -i https://pypi.tuna.tsinghua.edu.cn/simple

pip install networkx==3.4.2 -i https://pypi.tuna.tsinghua.edu.cn/simple

pip install mkl==2021.4.0 -i https://pypi.tuna.tsinghua.edu.cn/simple

pip install "f:\pytorch_\torch-2.3.1+cu121-cp311-cp311-win_amd64.whl"

pip install sentencepiece -i https://pypi.tuna.tsinghua.edu.cn/simple

2.4、包安装完毕后的版本截图

3、Cpu版本和Cuda版本程序的运行比较

3.1、cpu版本的程序运行

3.2、cuda版本的程序运行

可见相同的情况之下,二者的速度差距还是有点大的。Cuda大概是cpu的14倍左右。

本机使用的配置是cpu是intel i9-9900K,显卡Nvidia Gerforce2080。

相关推荐
kcarly23 分钟前
DeepSeek 都开源了哪些技术?
开源·大模型·llm·deepseek
非ban必选24 分钟前
spring-ai-alibaba第四章阿里dashscope集成百度翻译tool
java·人工智能·spring
吾日三省吾码29 分钟前
Python 脚本:自动化你的日常任务
数据库·python·自动化
是店小二呀30 分钟前
AI前沿:资本狂潮下的技术暗战:巨头博弈、开源革命与生态重构
人工智能·重构·开源
snowfoootball1 小时前
基于 Ollama DeepSeek、Dify RAG 和 Fay 框架的高考咨询 AI 交互系统项目方案
前端·人工智能·后端·python·深度学习·高考
云和数据.ChenGuang1 小时前
机器学习之回归算法
人工智能·机器学习·回归
odoo中国1 小时前
深度学习 Deep Learning 第15章 表示学习
人工智能·深度学习·学习·表示学习
橙色小博2 小时前
长短期记忆神经网络(LSTM)基础学习与实例:预测序列的未来
人工智能·python·深度学习·神经网络·lstm
SsummerC2 小时前
【leetcode100】每日温度
数据结构·python·leetcode
深蓝学院2 小时前
闭环SOTA!北航DiffAD:基于扩散模型实现端到端自动驾驶「多任务闭环统一」
人工智能·机器学习·自动驾驶