Llama2模型本地部署(Mac M1 16G)

环境准备

环境:Mac M1 16G、Conda

Conda创建环境配置

使用Anaconda-Navigator创建python 3.8环境

切换到新建的conda环境:

bash 复制代码
conda activate llama38

llama.cpp

找一个目录,下载llama.cpp

bash 复制代码
git clone https://github.com/ggerganov/llama.cpp

进入llama.cpp目录

bash 复制代码
cd llama.cpp

安装依赖环境

bash 复制代码
pip install -r requirements.txt

编译代码

bash 复制代码
LLAMA_METAL=1 make

下载中文模型 chinese-alpaca-2-7b-64k-hf,可以去下面的地址查找GitHub - ymcui/Chinese-LLaMA-Alpaca-2: 中文LLaMA-2 & Alpaca-2大模型二期项目 + 64K超长上下文模型 (Chinese LLaMA-2 & Alpaca-2 LLMs with 64K long context models)

我这边选用的7b模型,再大就不好运行起来了

下载后放置在llama.cpp/models目录下

模型转换

bash 复制代码
python convert.py models/chinese-alpaca-2-7b-64k-hf/

量化模型

bash 复制代码
./quantize ./models/chinese-alpaca-2-7b-64k-hf/ggml-model-f16.gguf ./models/chinese-alpaca-2-7b-64k-hf/ggml-model-q4_0.gguf q4_0

Server方式启动, host和port可选, 不写则启动127.0.0.1 8080

bash 复制代码
./server --host 0.0.0.0 --port "$port" -m ./models/chinese-alpaca-2-7b-64k-hf/ggml-model-q4_0.gguf -c 4096 -ngl 1

启动成功直接打开页面,我这边没有指定host和port,http://localhost:8080/

开始对话

相关推荐
运器12314 分钟前
【一起来学AI大模型】算法核心:数组/哈希表/树/排序/动态规划(LeetCode精练)
开发语言·人工智能·python·算法·ai·散列表·ai编程
Fine姐26 分钟前
传感器WSNs TheDataLinkLayer——B-MAC
macos
九丝城主26 分钟前
2025使用VM虚拟机安装配置Macos苹果系统下Flutter开发环境保姆级教程--中篇
服务器·flutter·macos·vmware
虾条_花吹雪34 分钟前
2、Connecting to Kafka
分布式·ai·kafka
DeepSeek大模型官方教程1 小时前
NLP之文本纠错开源大模型:兼看语音大模型总结
大数据·人工智能·ai·自然语言处理·大模型·产品经理·大模型学习
呆萌的代Ma2 小时前
解决Mac上的老版本docker desktop 无法启动/启动后一直转圈/无法登陆账号的问题
macos·docker·eureka
fengyun28912 小时前
Omi录屏专家 Screen Recorder by Omi 屏幕录制Mac
macos·mac·录屏·屏幕录制
程序员鱼皮3 小时前
Cursor 1.2重磅更新,这个痛点终于被解决了!
ai·程序员·编程·agent·软件开发
我爱一条柴ya4 小时前
【AI大模型】线性回归:经典算法的深度解析与实战指南
人工智能·python·算法·ai·ai编程
坤坤爱学习2.06 小时前
求医十年,病因不明,ChatGPT:你看起来有基因突变
人工智能·ai·chatgpt·程序员·大模型·ai编程·大模型学