用CPU玩那些大型的语言模型确实挺有意思的，但看着电脑一个字一个字地慢慢显示结果，那股兴奋劲儿很快就过去了。让这些语言模型软件在GPU上跑起来可能会有点麻烦，因为这得看你的系统和硬件支不支持。我这篇文章就是想告诉你，怎么在你的NVIDIA RTX 2060上跑起来llamafile这个软件。里面的例子会用到llamafile、NVIDIA CUDA、Ubuntu 22.04操作系统还有Docker这几个工具。
先检查一下你的GPU和NVIDIA CUDA软件
首先得确认一下你的CUDA装了没有。NVIDIA有个工具，能显示你的GPU和CUDA的状态。
% nvidia-smi
+---------------------------------------------------------------------------------------+
| NVIDIA-SMI 535.154.05 Driver Version: 535.154.05 CUDA Version: 12.2 |
|-----------------------------------------+----------------------+----------------------+
| GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. |
| | | MIG M. |
|=========================================+======================+======================|
| 0 NVIDIA GeForce RTX 2060 Off | 00000000:01:00.0 On | N/A |
| N/A 44C P8 8W / 90W | 1322MiB / 6144MiB | 6% Default |
| | | N/A |
+-----------------------------------------+----------------------+----------------------+
如果你看到的输出和这个差不多，那就说明你的CUDA已经装好了。别忘了看一眼CUDA的版本号。这个版本号还有你的显卡的计算能力，会决定你构建镜像时得用哪个基础镜像。NVIDIA有提供一张图表(https://developer.nvidia.com/cuda-gpus#compute)，上面列出了他们家各种设备的计算能力。你可以根据你的设备型号去查对应的菜单选项。比如说，你要是用的RTX 2060这款显卡，就在图表里找到它对应的那一项。
配置Docker
NVIDIA Container Toolkit这个工具能让Docker用上GPU的能力。NVIDIA也给出了安装Container Toolkit的详细指南。但如果你等不及想看简化版的，我这就来给你说说简化后的步骤。
% distribution=$(. /etc/os-release;echo $ID$VERSION_ID) \
&& curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg \
&& curl -s -L https://nvidia.github.io/libnvidia-container/$distribution/libnvidia-container.list | \
sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \
sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list
% sudo apt-get update
% sudo apt-get install -y nvidia-docker2
在Linux系统里，你得更新这个文件/etc/docker/daemon.json来设置Docker Engine后台服务，并且把NVIDIA的容器运行时加进去。要是你的系统里没有daemon.json这个文件呢，你就新建一个，内容大概是这样的：
{
"runtimes": {
"nvidia": {
"path": "/usr/bin/nvidia-container-runtime",
"runtimeArgs": []
}
}
}
这样设置好之后，重启Docker以应用更改。你的Docker就能用上NVIDIA的GPU加速功能了。
% sudo systemctl restart docker
测试运行时是否工作。
% $ docker run --rm --gpus all nvidia/cuda:11.6.2-base-ubuntu20.04 nvidia-smi
如果工作正常，你应该看到类似的结果。
+---------------------------------------------------------------------------------------+
| NVIDIA-SMI 535.154.05 Driver Version: 535.154.05 CUDA Version: 12.2 |
|-----------------------------------------+----------------------+----------------------+
| GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. |
| | | MIG M. |
|=========================================+======================+======================|
| 0 NVIDIA GeForce RTX 2060 Off | 00000000:01:00.0 On | N/A |
| N/A 44C P8 10W / 90W | 1530MiB / 6144MiB | 6% Default |
| | | N/A |
+-----------------------------------------+----------------------+----------------------+
来聊聊怎么构建Llamafile的镜像吧
咱们得一步步来分析这个Dockerfile。我会详细解释我做每个选择的原因。Dockerfile用的是多阶段构建的方法，咱们先从编译llamafile的二进制文件开始说起。
FROM debian:trixie as builder
WORKDIR /download
RUN mkdir out && \
apt-get update && \
apt-get install -y curl git gcc make && \
git clone https://github.com/Mozilla-Ocho/llamafile.git && \
curl -L -o ./unzip https://cosmo.zip/pub/cosmos/bin/unzip && \
chmod 755 unzip && mv unzip /usr/local/bin && \
cd llamafile && make -j8 && \
make install PREFIX=/download/out
这段Dockerfile是用来编译llamafile的二进制文件的。就像很多开源项目一样，llamafile非常活跃，几乎每周都有新功能更新和bug修复。所以我选择从源代码来编译llamafile，而不是直接用现成的二进制文件。另外，llamafile还能被编译成一个包含模型的单个可执行文件，但为了保持简单，我就没包括这一步。
接下来，多阶段构建的下一步是创建一个运行llamafile的镜像，这个镜像会用到主机上的GPU。NVIDIA提供了适合像llamafile这种GPU应用的CUDA基础镜像。前面我们记下了CUDA的版本和驱动程序的版本，NVIDIA也特别指出了：
"为了运行CUDA应用程序，系统应该具有支持CUDA的GPU和与用于构建应用程序本身的CUDA Toolkit兼容的NVIDIA显示驱动程序。如果应用程序依赖于库的动态链接，则系统还应该具有正确版本的这些库。"
基础的NVIDIA CUDA镜像得和你的主机上的CUDA版本对得上号。比如说，你手里有个挺新的显卡，那你就应该选一个最新的主机平台镜像。你还能挑挑不同的Linux发行版，决定是用那种带软件开发工具链的开发镜像，还是用那种拿来部署现成应用的运行时版本。
不过得注意啊，我这篇文章里头做的实验，用的GeForce RTX 2060显卡和最新的CUDA镜像不兼容。我们其实可以用老一点的镜像，但是NVIDIA的CUDA仓库里头维护了各种不同CUDA版本的Dockerfiles。所以我们可以为我们自己的CUDA版本和Linux发行版定制一个镜像。如果你想自己来构建一个CUDA镜像，那就去下载对应的Dockerfile，然后动手构建吧：
% docker build -t cuda12.2-base-ubuntu-22.04 .
这部分的Dockerfile是用来安装和设置CUDA工具包的，这对于让llamafile在CUDA基础镜像里用上GPU功能是必不可少的。你得用一个跟你的CUDA版本和Linux发行版相匹配的基础镜像来替换。另外，这里还创建了一个用户，这样容器就不会以root用户的身份运行了，安全性更高。
FROM cuda-12.2-base-ubuntu-22.04 as out
RUN apt-get update && \
apt-get install -y linux-headers-$(uname -r) && \
apt-key del 7fa2af80 && \
apt-get update && \
apt-get install -y clang && \
apt-get install -y cuda-toolkit && \
addgroup --gid 1000 user && \
adduser --uid 1000 --gid 1000 --disabled-password --gecos "" user
USER user
接下来的步骤是从构建器镜像中复制llamafile的二进制文件、手册页，还有LLM模型。在这个例子里，LLM模型codellama-7b-instruct.Q4_K_M.gguf是从Hugging Face上下载的。你也可以用任何和llamafile（或者llama.cpp）兼容的GGUF格式的模型。要记住，llamafile是作为服务器启动的，它包含了一个OPENAI API的接口，而且通过-ng 9999这个参数来启用GPU功能。
WORKDIR /usr/local
COPY --from=builder /download/out/bin ./bin
COPY --from=builder /download/out/share ./share/man
COPY codellama-7b-instruct.Q4_K_M.gguf /model/codellama-7b-instruct.Q4_K_M.gguf
# 不要写日志文件。
ENV LLAMA_DISABLE_LOGS=1
# 暴露8080端口。
EXPOSE 8080
# 设置入口点。
ENTRYPOINT ["/bin/sh", "/usr/local/bin/llamafile"]
# 设置默认命令。
CMD ["--server", "--nobrowser", "-ngl", "9999","--host", "0.0.0.0", "-m", "/model/codellama-7b-instruct.Q4_K_M.gguf"]
构建并标记镜像。
% docker build -t llamafile-codellama-gpu .
这是完整的Dockerfile。
FROM debian:trixie as builder
WORKDIR /download
RUN mkdir out && \
apt-get update && \
apt-get install -y curl git gcc make && \
git clone https://github.com/Mozilla-Ocho/llamafile.git && \
curl -L -o ./unzip https://cosmo.zip/pub/cosmos/bin/unzip && \
chmod 755 unzip && mv unzip /usr/local/bin && \
cd llamafile && make -j8 && \
make install PREFIX=/download/out
FROM cuda-12.2-base as out
RUN apt-get update && \
apt-get install -y linux-headers-$(uname -r) && \
apt-key del 7fa2af80 && \
apt-get update && \
apt-get install -y clang && \
apt-get install -y cuda-toolkit && \
addgroup --gid 1000 user && \
adduser --uid 1000 --gid 1000 --disabled-password --gecos "" user
USER user
WORKDIR /usr/local
COPY --from=builder /download/out/bin ./bin
COPY --from=builder /download/out/share ./share/man
COPY codellama-7b-instruct.Q4_K_M.gguf /model/codellama-7b-instruct.Q4_K_M.gguf
# 不要写日志文件。
ENV LLAMA_DISABLE_LOGS=1
# 暴露8080端口。
EXPOSE 8080
# 设置入口点。
ENTRYPOINT ["/bin/sh", "/usr/local/bin/llamafile"]
# 设置默认命令。
CMD ["--server", "--nobrowser", "-ngl", "9999","--host", "0.0.0.0", "-m", "/model/codellama-7b-instruct.Q4_K_M.gguf"]
享受性能提升
咱们可以利用continue.dev这个开源的LLM编码VSCode插件，来试试看给llamafile开启GPU后搭配codellama-7b-instruct.Q4_K_M.gguf模型的效果。Continue.dev这个插件兼容任何支持OpenAI API的LLM。如果你想在装有GPU的笔记本上用服务器模式运行llamafile，同时在M2 Mac mini上使用VSCode，那下面这些步骤就能帮到你。
提示：
"深度优先搜索URL并打印页面作为树。"
补全：
import requests
from bs4 import BeautifulSoup
def depth_first_search(url):
"""深度优先搜索URL并打印页面作为树。"""
# 初始化一个集合来跟踪访问过的URL
visited = set()
# 创建一个队列来存储要访问的URL
queue = [url]
while queue:
# 从队列中获取下一个URL
url = queue.pop(0)
# 如果URL尚未访问，则访问它并将其子项添加到队列中
if url not in visited:
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
for link in soup.find_all('a'):
queue.append(link.get('href'))
print(f"{url} -> {', '.join(queue)}")
visited.add(url)
首先，我先在CPU上跑了跑llamafile的可执行文件，作为性能对比的基准。
% llamafile --server --host 0.0.0.0 -m codellama-7b-instruct.Q4_K_M.gguf
用CPU跑的话，提示评估的速度是每秒24个标记，整个补全过程得花上超过一分钟的时间。
print_timings: prompt eval time = 4963.79 ms / 121 tokens ( 41.02 ms per token, 24.38 tokens per second)
print_timings: eval time = 64191.60 ms / 472 runs ( 136.00 ms per token, 7.35 tokens per second)
print_timings: total time = 69155.39 ms
然后呢，我开启了GPU，又运行了一遍llamafile的可执行文件。
% llamafile --server --host 0.0.0.0 -ngl 9999 -m codellama-7b-instruct.Q4_K_M.gguf
用上GPU之后，提示评估的速度比用CPU快了17倍，每秒能处理426个标记。整个补全过程在11秒内就搞定了，响应时间明显提升了不少。
print_timings: prompt eval time = 283.92 ms / 121 tokens ( 2.35 ms per token, 426.18 tokens per second)
print_timings: eval time = 11134.10 ms / 470 runs ( 23.69 ms per token, 42.21 tokens per second)
print_timings: total time = 11418.02 ms
后来我又试了试运行开了GPU功能的llamafile容器，想看看容器化会不会对性能有啥影响。
% docker run -it --gpus all --runtime nvidia -p 8111:8080 llamafile-codellama-gpu
可以看出，容器的性能并没有下降，因为容器其本质上就是一个进程，下面的测量结果反而比单纯启用GPU的可执行文件还要稍微好那么一点儿。这个我感觉不是特别准确，应该是差不多才对。
print_timings: prompt eval time = 257.56 ms / 121 tokens ( 2.13 ms per token, 469.80 tokens per second)
print_timings: eval time = 11498.98 ms / 470 runs ( 24.47 ms per token, 40.87 tokens per second)
print_timings: total time = 11756.53 ms
总结一下哈
给llamafile加上GPU支持，一下子就让它从一个实验性的玩具变成了软件工具箱里的实用工具。而且，把LLM容器化了之后，大家就不用安装和下载那些二进制文件，就能直接跑LLM了。我们可以直接从仓库拉取LLM，用很少的设置就能启动。另外，容器化还为在各种编排框架里部署LLM提供了新的可能性，你觉得呢？
