【AI基础】第五步:纯天然保姆喂饭级-安装并运行chatglm3-6b

类似于 【AI基础】第三步:纯天然保姆喂饭级-安装并运行chatglm2-6b,有一些细节不一样。

此系列文章列表:

【AI基础】第一步:安装python开发环境-windows篇_下载安装ai环境python

【AI基础】第一步:安装python开发环境-conda篇_minicode怎么换虚拟环境

【AI基础】第二步:安装AI运行环境

【AI基础】第三步:纯天然保姆喂饭级-安装并运行chatglm2-6b

【AI基础】第四步:保姆喂饭级-langchain+chatglm2-6b

【AI基础】第五步:纯天然保姆喂饭级-安装并运行chatglm3-6b

一、安装miniconda

参考 【AI基础】第一步:安装python开发环境-conda篇_minicode怎么换虚拟环境-CSDN博客

二、安装CUDA、cuDNN和pyTorch

参考 【AI基础】第二步:安装AI运行环境-CSDN博客

bash 复制代码
> pip install protobuf transformers==4.40.0 cpm_kernels torch>=2.3.0 sentencepiece accelerate

三、安装RUST

参考 【AI基础】第三步:纯天然保姆喂饭级-安装并运行chatglm2-6b 三、安装RUST

四、运行chatglm3

4.1 创建环境

bash 复制代码
> conda create --name chatglm3
> conda activate chatglm3
> git clone https://github.com/THUDM/ChatGLM3
> cd chatglm3

4.2 调整

在chatglm3的依赖文件中,有vllm模块,此模块存在于linux系统中,在windows中安装时需要注释掉。

4.3 安装

bash 复制代码
> pip install -r requirements.txt --verbose -i https://pypi.tuna.tsinghua.edu.cn/simple/

​ 安装完成。

4.4 下载大模型文件

4.4.1 HuggingFace下载

下载地址:https://huggingface.co/THUDM/chatglm3-6b

4.4.2 国内下载

综合镜像站:

4.4.3 下载完成

下载到本地的默认下载地址,文件结构如图(图中文件,一个都不能少):

4.5 运行代码

4.5.1 官方示例

在 4.3 中下载的源码中我们可以看到多个以 _demo 为结尾的文件夹,这些都是官方示例。

4.5.2 运行网页端

修改大模型路径:

运行网页端命令:

bash 复制代码
> streamlit run basic_demo\web_demo_streamlit.py

运行成功。

相关推荐
jndingxin3 小时前
OpenCV CUDA模块设备层-----高效地计算两个 uint 类型值的带权重平均值
人工智能·opencv·计算机视觉
Sweet锦3 小时前
零基础保姆级本地化部署文心大模型4.5开源系列
人工智能·语言模型·文心一言
hie988944 小时前
MATLAB锂离子电池伪二维(P2D)模型实现
人工智能·算法·matlab
晨同学03274 小时前
opencv的颜色通道问题 & rgb & bgr
人工智能·opencv·计算机视觉
蓝婷儿4 小时前
Python 机器学习核心入门与实战进阶 Day 3 - 决策树 & 随机森林模型实战
人工智能·python·机器学习
大千AI助手4 小时前
PageRank:互联网的马尔可夫链平衡态
人工智能·机器学习·贝叶斯·mc·pagerank·条件概率·马尔科夫链
小和尚同志4 小时前
Cline | Cline + Grok3 免费 AI 编程新体验
人工智能·aigc
我就是全世界4 小时前
TensorRT-LLM:大模型推理加速的核心技术与实践优势
人工智能·机器学习·性能优化·大模型·tensorrt-llm
.30-06Springfield5 小时前
决策树(Decision tree)算法详解(ID3、C4.5、CART)
人工智能·python·算法·决策树·机器学习
我不是哆啦A梦5 小时前
破解风电运维“百模大战”困局,机械版ChatGPT诞生?
运维·人工智能·python·算法·chatgpt