mac M系列芯片安装chatGLM3-6b模型

1 环境安装

1.1 mac安装conda.

下载miniconda,并安装

复制代码
curl -O https://repo.anaconda.com/miniconda/Miniconda3-latest-MacOSX-arm64.sh
sh Miniconda3-latest-MacOSX-arm64.sh

1.2 创建虚拟环境并激活

创建名为chatglm3的虚拟环境,python版本为3.10.2

激活环境(后续要在这个环境安装pytorch及依赖包)

复制代码
conda create -n chatglm3 python==3.10.2
conda activate chatglm3

1.3 安装pytorch-nightly

复制代码
conda install pytorch torchvision torchaudio -c pytorch-nightly

1.4 下载chatglm3 代码

1 下载地址,git地址:https://github.com/THUDM/ChatGLM3

2 进入代码中,安装依赖包

复制代码
git clone https://github.com/THUDM/ChatGLM3
cd ChatGLM3-main
pip install -r requirement.txt

2 模型下载

推荐使用方式3下载,可以下载任意开源大模型,且速度飞快,没有墙限制

方式1: 直接在huggingface官网下载(国内比较难)

https://huggingface.co/dwdcth/chatglm3-6b-int4

方式2 使用国内镜像

https://hf-mirror.com/dwdcth/chatglm3-6b-int4

方式3

  • 使用modelscope下载

    https://modelscope.cn/models/ZhipuAI/chatglm3-6b/summary

  • 安装魔塔依赖

    pip install modelscope -U

  • 代码中的路径即为要下载的模型,可以自行选择模型下载(mac 16G推荐下载int4)

    model_dir = snapshot_download('ZhipuAI/chatglm3-6b', revision='v1.0.1')

  • 模型默认保存路径为家目录下, ~/.cache/modelscope/hub/ZhipuAI/ChatGLM3-6B/

    1 安装依赖
    pip install modelscope -U

    2 使用代码下载
    from modelscope import snapshot_download
    model_dir = snapshot_download("ZhipuAI/chatglm3-6b", revision = "v1.0.0")

3 模型使用

1 修改web_demo2.py中的device为"mps"

DEVICE = 'mps'

如果测试cli_demo.py文件,修改如下代码,模型需要时float()类型的,不然会报错。(不过好像还没有用到mps,待测试)

DEVICE = 'mps'

model = AutoModel.from_pretrained(TOKENIZER_PATH, trust_remote_code=True).float()

复制代码
# web_demo2.py 运行
streamlit run basic_demo/web_demo2.py 

4 模型web展示

streamlit run basic_demo/web_demo2.py

相关推荐
MSTcheng.1 小时前
【AI应用实战】用 FastAPI + SSE 做一个自己的 AI 聊天网页:流式输出、多轮对话与完整源码
人工智能·python·大模型·fastapi·sse·ai聊天助手
LiaoWL1233 小时前
从零搭一个 RAG 知识库(二):换上语义 Embedding——BGE 实测与阈值重校准
python·大模型·numpy·embedding·向量检索·rag
小七-七牛开发者2 天前
PACE:代码通过率从 42% 到 97%, 让长程 Agent 在有限 KV Cache 下用好历史 Token
大模型·claude·token·工作流·长程agent
小七-七牛开发者3 天前
周 1 上线 | DSH 喜提原神进场动画,Anthropic 启动 IPO 路演;黄仁勋辞任;微软全球大宕机超 24 小时
ai·大模型·agent·token·工作流·claudecode·ai coding
M--Y3 天前
LangGraph 架构基石:持久化与运行控制
python·langchain·大模型·llm·持久化·langgraph
香吧香3 天前
一篇文章搞懂 Agent Harness:从概念、原理到我们该不该上
大模型
M--Y4 天前
LangGraph 工作流模式
开发语言·javascript·python·langchain·大模型·llm·langgraph
dozenyaoyida4 天前
AI与大模型新闻日报 | 2026-11-08
人工智能·搜索引擎·ai·大模型·新闻
小小-猿4 天前
从 gpt-6-luna 到第一个 Nexent 智能体:配置、调试与发布
gpt·大模型·智能体·ai智能体·nexent
aicat_cn4 天前
OpenAI 解散机器人团队,改让 GPT-6 直接控制机器人
ai·大模型