【AI基础】第五步:纯天然保姆喂饭级-安装并运行chatglm3-6b

类似于 【AI基础】第三步:纯天然保姆喂饭级-安装并运行chatglm2-6b,有一些细节不一样。

此系列文章列表:

【AI基础】第一步:安装python开发环境-windows篇_下载安装ai环境python

【AI基础】第一步:安装python开发环境-conda篇_minicode怎么换虚拟环境

【AI基础】第二步:安装AI运行环境

【AI基础】第三步:纯天然保姆喂饭级-安装并运行chatglm2-6b

【AI基础】第四步:保姆喂饭级-langchain+chatglm2-6b

【AI基础】第五步:纯天然保姆喂饭级-安装并运行chatglm3-6b

一、安装miniconda

参考 【AI基础】第一步:安装python开发环境-conda篇_minicode怎么换虚拟环境-CSDN博客

二、安装CUDA、cuDNN和pyTorch

参考 【AI基础】第二步:安装AI运行环境-CSDN博客

bash 复制代码
> pip install protobuf transformers==4.40.0 cpm_kernels torch>=2.3.0 sentencepiece accelerate

三、安装RUST

参考 【AI基础】第三步:纯天然保姆喂饭级-安装并运行chatglm2-6b 三、安装RUST

四、运行chatglm3

4.1 创建环境

bash 复制代码
> conda create --name chatglm3
> conda activate chatglm3
> git clone https://github.com/THUDM/ChatGLM3
> cd chatglm3

4.2 调整

在chatglm3的依赖文件中,有vllm模块,此模块存在于linux系统中,在windows中安装时需要注释掉。

4.3 安装

bash 复制代码
> pip install -r requirements.txt --verbose -i https://pypi.tuna.tsinghua.edu.cn/simple/

​ 安装完成。

4.4 下载大模型文件

4.4.1 HuggingFace下载

下载地址:https://huggingface.co/THUDM/chatglm3-6b

4.4.2 国内下载

综合镜像站:

4.4.3 下载完成

下载到本地的默认下载地址,文件结构如图(图中文件,一个都不能少):

4.5 运行代码

4.5.1 官方示例

在 4.3 中下载的源码中我们可以看到多个以 _demo 为结尾的文件夹,这些都是官方示例。

4.5.2 运行网页端

修改大模型路径:

运行网页端命令:

bash 复制代码
> streamlit run basic_demo\web_demo_streamlit.py

运行成功。

相关推荐
xingxing_F15 分钟前
Topaz Video AI for Mac AI视频无损放大 视频画质增强
人工智能·macos·音视频
普蓝机器人26 分钟前
面向智慧农业的自主移动果蔬采摘机器人:融合视觉识别与自动驾驶的智能化农作系统研究
人工智能·学习·机器人·移动机器人·三维仿真导航
卷福同学28 分钟前
AI浏览器comet拉新,一单20美元(附详细教程)
人工智能·后端
说私域1 小时前
基于开源链动2+1模式AI智能名片S2B2C商城小程序的市场份额扩张路径研究
人工智能·小程序·开源
文火冰糖的硅基工坊1 小时前
[人工智能-大模型-72]:模型层技术 - 模型训练六大步:①数据预处理 - 基本功能与对应的基本组成函数
开发语言·人工智能·python
晚霞apple2 小时前
三维重建技术的未来创新方向
论文阅读·人工智能·深度学习·神经网络·机器学习
NocoBase2 小时前
GitHub 上最值得关注的 14 个开源 AI 低代码工具
人工智能·低代码·github
无风听海2 小时前
神经网络之语义空间
人工智能·深度学习·神经网络
cxr8282 小时前
AI提示工程第一性原理:精通原子提示,激发语言模型的基本单位
人工智能·语言模型·自然语言处理