智谱大模型(ChatGLM3)PyCharm的调试指南

前言

最近在看一本《ChatGLM3大模型本地化部署、应用开发和微调》,本文就是讨论ChatGLM3在本地的初步布设。(模型文件来自魔塔社区)

1、建立Pycharm工程

采用的Python版本为3.11

2、安装对应的包

2.1、安装modelscope包

pip install modelscope -i https://pypi.tuna.tsinghua.edu.cn/simple

如下图:

2.2、安装transformers包

pip install transformers==4.40.0 -i https://pypi.tuna.tsinghua.edu.cn/simple

如下图:

2.3、安装cuda版本的Pytorch

可以参照我的另外一篇博客:

https://quickrubber.blog.csdn.net/article/details/145824058

包的安装顺序:

pip install sympy==1.13.3 -i https://pypi.tuna.tsinghua.edu.cn/simple

pip install networkx==3.4.2 -i https://pypi.tuna.tsinghua.edu.cn/simple

pip install mkl==2021.4.0 -i https://pypi.tuna.tsinghua.edu.cn/simple

pip install "f:\pytorch_\torch-2.3.1+cu121-cp311-cp311-win_amd64.whl"

pip install sentencepiece -i https://pypi.tuna.tsinghua.edu.cn/simple

2.4、包安装完毕后的版本截图

3、Cpu版本和Cuda版本程序的运行比较

3.1、cpu版本的程序运行

3.2、cuda版本的程序运行

可见相同的情况之下,二者的速度差距还是有点大的。Cuda大概是cpu的14倍左右。

本机使用的配置是cpu是intel i9-9900K,显卡Nvidia Gerforce2080。

相关推荐
字节跳动视频云技术团队23 分钟前
接大模型别再自己配 Key、搭代理了,火山引擎 IGA Pages 一步搞定
人工智能
谙弆悕博士39 分钟前
多智能体架构详解:层级树状架构(分级主从型)
运维·架构·大模型·agent·多智能体·langgraph·层级树状
阿里云大数据AI技术1 小时前
EMR Serverless StarRocks 产品介绍:从统一 OLAP 走向多模态分析与检索
人工智能
Forget the Dream2 小时前
Spring AI 2.0 系列(二):第一个 ChatClient——从注入到一次完整调用
java·人工智能·spring boot·ai·springai
学无止境小袁同学2 小时前
Google ADK 学习指南
python·llm·agent·多agent·google adk·llmagent·agent cli
郝学胜-神的一滴2 小时前
Effective Python 条款35:用类封装替代生成器异常注入
开发语言·人工智能·python·金融·pandas·scikit-learn·matplotlib
火山引擎开发者社区2 小时前
豆包工作,3 个月,800 万,20 亿
人工智能
Chuck.li2 小时前
AI 长篇创作工具选型:工作流对照与自测清单
人工智能·大模型·ai写作·网文作者·ai网文·豆包写作
aleimu3 小时前
Windows 11 右键打开 Cmder 2.0:从找不到菜单到默认使用 Cmder
前端·人工智能·后端
LK_073 小时前
【力扣】142. 环形链表 II |Python
python·leetcode·链表