【AI基础】第五步:纯天然保姆喂饭级-安装并运行chatglm3-6b

类似于 【AI基础】第三步:纯天然保姆喂饭级-安装并运行chatglm2-6b,有一些细节不一样。

此系列文章列表:

【AI基础】第一步:安装python开发环境-windows篇_下载安装ai环境python

【AI基础】第一步:安装python开发环境-conda篇_minicode怎么换虚拟环境

【AI基础】第二步:安装AI运行环境

【AI基础】第三步:纯天然保姆喂饭级-安装并运行chatglm2-6b

【AI基础】第四步:保姆喂饭级-langchain+chatglm2-6b

【AI基础】第五步:纯天然保姆喂饭级-安装并运行chatglm3-6b

一、安装miniconda

参考 【AI基础】第一步:安装python开发环境-conda篇_minicode怎么换虚拟环境-CSDN博客

二、安装CUDA、cuDNN和pyTorch

参考 【AI基础】第二步:安装AI运行环境-CSDN博客

bash 复制代码
> pip install protobuf transformers==4.40.0 cpm_kernels torch>=2.3.0 sentencepiece accelerate

三、安装RUST

参考 【AI基础】第三步:纯天然保姆喂饭级-安装并运行chatglm2-6b 三、安装RUST

四、运行chatglm3

4.1 创建环境

bash 复制代码
> conda create --name chatglm3
> conda activate chatglm3
> git clone https://github.com/THUDM/ChatGLM3
> cd chatglm3

4.2 调整

在chatglm3的依赖文件中,有vllm模块,此模块存在于linux系统中,在windows中安装时需要注释掉。

4.3 安装

bash 复制代码
> pip install -r requirements.txt --verbose -i https://pypi.tuna.tsinghua.edu.cn/simple/

​ 安装完成。

4.4 下载大模型文件

4.4.1 HuggingFace下载

下载地址:https://huggingface.co/THUDM/chatglm3-6b

4.4.2 国内下载

综合镜像站:

4.4.3 下载完成

下载到本地的默认下载地址,文件结构如图(图中文件,一个都不能少):

4.5 运行代码

4.5.1 官方示例

在 4.3 中下载的源码中我们可以看到多个以 _demo 为结尾的文件夹,这些都是官方示例。

4.5.2 运行网页端

修改大模型路径:

运行网页端命令:

bash 复制代码
> streamlit run basic_demo\web_demo_streamlit.py

运行成功。

相关推荐
Psycho_MrZhang2 分钟前
丢弃法-Dropout
人工智能·深度学习·机器学习
yueyuebaobaoxinx8 分钟前
2025 AI 图景:从工具革命到生态重构的生存逻辑
人工智能·重构
拉一次撑死狗12 分钟前
TensorFlow(1)
人工智能·python·tensorflow
m0_6501082419 分钟前
【论文精读】Group Collaborative Learning for Co-Salient Object Detection
人工智能·计算机视觉·论文精读·gam·共显著性目标检测·组协同学习·gcm
董厂长1 小时前
SubAgent的“指令漂移 (Instruction Drift)“困境
人工智能·agent·mcp·subagent
金井PRATHAMA1 小时前
框架系统在自然语言处理深度语义分析中的作用、挑战与未来展望
人工智能·自然语言处理·知识图谱
小李独爱秋1 小时前
【机器学习宝藏】深入解析经典人脸识别数据集:Olivetti Faces
人工智能·python·机器学习·计算机视觉·人脸识别·olivetti
2401_841495641 小时前
【自然语言处理】文本表示知识点梳理与习题总结
人工智能·自然语言处理·词向量·文本表示·独热编码·词-词共现矩阵·静态词嵌入
Carl_奕然2 小时前
【大模型】Agent之:从Prompt到Context的演进之路
人工智能·python·语言模型·prompt·多模态
被巨款砸中2 小时前
一篇文章讲清Prompt、Agent、MCP、Function Calling
前端·vue.js·人工智能·web