树莓派llama.cpp部署DeepSeek-R1-Distill-Qwen-1.5B

树莓派的性能太低了,我们需要对模型进行量化才能使用,所以现在的方案是,在windows上将模型格式和量化处理好,然后再将模型文件传输到树莓派上。而完成上面的操作就需要部署llama.cpp。

三、环境的准备

这里要求大家准备一个树莓派,这里我使用的是树莓派5,当然,也建议大家使用树莓派5。树莓派5运行1B并且F16量化的模型已经非常慢了。所以不推荐大家使用树莓派5以下的版本。这里要求大家将树莓派的系统安装好,并且可以远程到或者是使用HDMI连接显示器。总之需要大家能够操作到树莓派就行了。后面我就使用SSH远程树莓派进行演示。

四、llama.cpp的编译

这里已经我为我的树莓派装好了一个全新的系统,并且使用VNC连接到了树莓派:

1.安装llama.cpp编译所需的环境

因为树莓派本质属于国外的嵌入式开发板,所以可能一些软件源我们拉取比较慢甚至无法拉取,那么现在我们就来换一些树莓派的下载源。这里参考了:debian | 镜像站使用帮助 | 清华大学开源软件镜像站 | Tsinghua Open Source Mirror

这里我们首先使用下面的命令打开软件源的配置文件:

sudo nano /etc/apt/sources.list

这里我们使用"#"将原本的源都注释掉:

然后将下面的内容复制到原本的源的下面:

deb https://mirrors.tuna.tsinghua.edu.cn/debian/ bookworm main contrib

deb https://mirrors.tuna.tsinghua.edu.cn/debian/ bookworm-updates main contrib

deb https://mirrors.tuna.tsinghua.edu.cn/debian/ bookworm-backports main contrib

完成以上操作以后,我们保存并退出文件。

这里我们使用下面的命令来更新一下我们重新设置的源:

sudo apt update

下面我们来安装编译所需的环境,直接使用下面的命令即可:

sudo apt install cmake gcc g++

下载https://github.com/ggml-org/llama.cpp.git的项目文件,U盘拷到树莓派中,

llama.cpp的编译

现在我们准备开始编译llama.cpp。这里我们需要在llama.cpp的项目目录下新建一个文件夹,我们在llama.cpp的项目目录下使用下面的命令:

mkdir build

然后使用下面的命令进入这个目录:

cd build/

进入目录以后,我们使用下面的命令生成makefile文件:

cmake .. -DLLAMA_NATIVE=OFF

AI写代码

这里加上"-DLLAMA_NATIVE=OFF"是为了在ARM设备中提升兼容性。

执行命令以后,就生成了编译相关的文件,这些文件指导了编译的过程:

然后我们使用下面的命令进行编译:

复制代码
make -j$(nproc)

后面的"-j$(nproc)"是为了自动传递多核参数。也就是说它会自动识别树莓派的处理器数量并且调用处理器进行编译。

命令执行以后,编译就开始了:

在前面我们已经部署好了llama.cpp,现在我们就使用llama.cpp来运行GGUF格式的模型了,至于什么是GGUF格式的模型以及如何对模型进行量化

./build/bin/llama-cli -m ./models/DeepSeek-R1-Distill-Qwen-1.5B/DeepSeek-R1-Distill-Qwen-1.5B-F16.gguf

启动完成以后,就可以进行对话了:

至此,我们在树莓派运行DeepSeek就已经完成了。以后,只要是类似的模型都可以使用这样的方法来使用树莓派来运行。

相关推荐
liliangcsdn2 天前
mac测试ollama llamaindex
数据仓库·人工智能·prompt·llama
茫茫人海一粒沙2 天前
使用 LLaMA 3 8B 微调一个 Reward Model:从入门到实践
llama
liliangcsdn4 天前
mac llama_index agent算术式子计算示例
人工智能·python·macos·llama
许愿与你永世安宁5 天前
RAG(检索增强生成)里的文档管理
数据库·人工智能·gpt·oracle·llama·rag
许愿与你永世安宁9 天前
基于Llama的RAG 3种模型配置方法
人工智能·python·自然语言处理·json·github·llama·faiss
至善迎风9 天前
本地部署 Kimi K2 全指南(llama.cpp、vLLM、Docker 三法)
docker·容器·llama·kimi
阿斯卡码9 天前
安装 llama-cpp-python 的CPU和GPU方法
开发语言·python·llama
学不会就看10 天前
llama-factory快速开始
llama
NullPointerExpection12 天前
LLM大语言模型不适合统计算数,可以让大模型根据数据自己建表、插入数据、编写查询sql统计
数据库·人工智能·sql·算法·llm·llama·工作流
MUTA️13 天前
Llama系列:Llama1, Llama2,Llama3内容概述
llama