Llama2模型本地部署(Mac M1 16G)

环境准备

环境:Mac M1 16G、Conda

Conda创建环境配置

使用Anaconda-Navigator创建python 3.8环境

切换到新建的conda环境:

bash 复制代码
conda activate llama38

llama.cpp

找一个目录,下载llama.cpp

bash 复制代码
git clone https://github.com/ggerganov/llama.cpp

进入llama.cpp目录

bash 复制代码
cd llama.cpp

安装依赖环境

bash 复制代码
pip install -r requirements.txt

编译代码

bash 复制代码
LLAMA_METAL=1 make

下载中文模型 chinese-alpaca-2-7b-64k-hf,可以去下面的地址查找GitHub - ymcui/Chinese-LLaMA-Alpaca-2: 中文LLaMA-2 & Alpaca-2大模型二期项目 + 64K超长上下文模型 (Chinese LLaMA-2 & Alpaca-2 LLMs with 64K long context models)

我这边选用的7b模型,再大就不好运行起来了

下载后放置在llama.cpp/models目录下

模型转换

bash 复制代码
python convert.py models/chinese-alpaca-2-7b-64k-hf/

量化模型

bash 复制代码
./quantize ./models/chinese-alpaca-2-7b-64k-hf/ggml-model-f16.gguf ./models/chinese-alpaca-2-7b-64k-hf/ggml-model-q4_0.gguf q4_0

Server方式启动, host和port可选, 不写则启动127.0.0.1 8080

bash 复制代码
./server --host 0.0.0.0 --port "$port" -m ./models/chinese-alpaca-2-7b-64k-hf/ggml-model-q4_0.gguf -c 4096 -ngl 1

启动成功直接打开页面,我这边没有指定host和port,http://localhost:8080/

开始对话

相关推荐
我爱一条柴ya2 小时前
【AI大模型】线性回归:经典算法的深度解析与实战指南
人工智能·python·算法·ai·ai编程
坤坤爱学习2.03 小时前
求医十年,病因不明,ChatGPT:你看起来有基因突变
人工智能·ai·chatgpt·程序员·大模型·ai编程·大模型学
不学会Ⅳ4 小时前
Mac M芯片搭建jdk源码环境(jdk24)
java·开发语言·macos
小眼睛FPGA20 小时前
【RK3568+PG2L50H开发板实验例程】FPGA部分/紫光同创 IP core 的使用及添加
科技·嵌入式硬件·ai·fpga开发·gpu算力
我爱一条柴ya1 天前
【AI大模型】深入理解 Transformer 架构:自然语言处理的革命引擎
人工智能·ai·ai作画·ai编程·ai写作
九丝城主1 天前
2025使用VM虚拟机安装配置Macos苹果系统下Flutter开发环境保姆级教程--上篇
服务器·flutter·macos·vmware
芳草萋萋鹦鹉洲哦1 天前
【vue3+tauri+rust】如何实现下载文件mac+windows
windows·macos·rust
DeepSeek-大模型系统教程2 天前
深入金融与多模态场景实战:金融文档分块技术与案例汇总
人工智能·ai·语言模型·程序员·大模型·大模型学习·大模型教程
程序员鱼皮2 天前
Cursor 网页版来了,这下拉屎时也能工作了
计算机·ai·程序员·开发·项目·编程经验
我是小哪吒2.02 天前
书籍推荐-《对抗机器学习:攻击面、防御机制与人工智能中的学习理论》
人工智能·深度学习·学习·机器学习·ai·语言模型·大模型