本地运行大语言模型（LLMs）

用例

像PrivateGPT、llama.cpp、Ollama、GPT4All、llamafile 等项目的流行度凸显了本地（在您自己的设备上）运行大型语言模型（LLMs）的需求。

这至少有两个重要的好处：

1.隐私：您的数据不会发送给第三方，也不会受到商业服务的服务条款的约束2.成本：没有推理费用，这对于需要大量令牌的应用（例如，长期运行的模拟、摘要）很重要

概述

在本地运行一个LLM需要几样东西：

1.开源LLM ：可以自由修改和共享的开源LLM2.推理：在您的设备上以可接受的延迟运行此LLM的能力

开源LLMs

用户现在可以接触到快速增长的开源LLM集合。

这些LLM至少可以通过两个维度进行评估（见图）：

1.基础模型：基础模型是什么，它是如何训练的？2.微调方法：基础模型是否经过了微调，如果是，使用了哪些指令集？

推理

已经出现了一些框架，用于在各种设备上支持开源LLM的推理：

1.llama.cpp ：带有权重优化/量化的llama推理代码的C++实现2.gpt4all ：优化的C后端用于推理3.Ollama ：将模型权重和环境捆绑到设备上运行的应用程序中，并提供LLM4.llamafile：将模型权重和运行模型所需的一切捆绑到一个单一文件中，允许您从这个文件本地运行LLM，无需任何额外的安装步骤

通常，这些框架会做几件事：

1.量化：减少原始模型权重的内存占用2.高效的推理实现：支持在消费级硬件上进行推理（例如，CPU或笔记本电脑GPU）

特别是，请参阅这篇（https://finbarr.ca/how-is-llama-cpp-possible/）关于量化重要性的优秀文章。

LLaMa权重所需的内存

参数数量 (B)	浮点32位所需的RAM (GB)	半精度浮点数所需的RAM (GB)	8位整数所需的RAM (GB)	4位整数所需的RAM (GB)
7	28	14	7	35
13	52	26	13	65
32.5	130	65	32.5	16.25
65.2	260.8	130.4	65.2	32.6

通过减少精度，我们大幅减少了存储LLM所需的内存。

此外，我们可以看到GPU内存带宽表的重要性！

一个Mac M2 Max由于拥有更大的GPU内存带宽，在推理上比M1快5-6倍。

快速开始

Ollama是在macOS上轻松运行推理的一种方式。

这里的说明提供了详细信息，我们总结如下：

•下载并运行应用程序•从命令行，从这个选项列表中获取模型：例如，ollama pull llama2•当应用程序运行时，所有模型都会自动在 localhost:11434 上提供服务

' The first man on the moon was Neil Armstrong, who landed on the moon on July 20, 1969 as part of the Apollo 11 mission. obviously.'

生成它们被创建时的流令牌。

from langchain_core.callbacks import CallbackManager, StreamingStdOutCallbackHandler

llm = Ollama(
    model="llama2", callback_manager=CallbackManager([StreamingStdOutCallbackHandler()])
)
llm.invoke("The first man on the moon was ...")

环境

推理速度是本地运行模型时的挑战（见上文）。

为了最小化延迟，最好在GPU上本地运行模型，许多消费级笔记本电脑都配备了GPU，例如苹果设备。

即使有GPU，可用的GPU内存带宽（如上所述）也很重要。

运行苹果 silicon GPU

Ollama 和 llamafile 将自动利用苹果设备上的GPU。

其他框架要求用户设置环境以利用苹果GPU。

例如，llama.cpp Python绑定可以通过Metal配置为使用GPU。

Metal是苹果创建的一种图形和计算API，提供接近直接访问GPU的权限。

请参见此处的llama.cpp设置以启用此功能。

特别是，确保conda使用的是您创建的正确虚拟环境（miniforge3）。

例如，对我来说：

conda activate /Users/rlm/miniforge3/envs/llama

确认上述情况后，然后：

CMAKE_ARGS="-DLLAMA_METAL=on" FORCE_CMAKE=1 pip install -U llama-cpp-python --no-cache-dir

LLMs

有多种方法可以获得量化模型权重的访问权限。

1.HuggingFace - 许多量化模型可供下载，并可使用llama.cpp等框架运行。您也可以从HuggingFace下载llamafile格式的模型。2.gpt4all - 模型浏览器提供了一个排行榜，列出了可用的量化模型的指标和相关下载。3.Ollama - 可以通过pull直接访问几种模型。

Ollama

使用Ollama，通过 ollama pull : 获取模型：

•例如，对于Llama-7b：ollama pull llama2 将下载模型的最基本版本（例如，参数数量最少和4位量化）。•我们还可以指定模型列表中的特定版本，例如：ollama pull llama2:13b。•查看API参考页面上的完整参数集。

' Sure! Here's the answer, broken down step by step:\n\nThe first man on the moon was... Neil Armstrong.\n\nHere's how I arrived at that answer:\n\n1. The first manned mission to land on the moon was Apollo 11.\n2. The mission included three astronauts: Neil Armstrong, Edwin "Buzz" Aldrin, and Michael Collins.\n3. Neil Armstrong was the mission commander and the first person to set foot on the moon.\n4. On July 20, 1969, Armstrong stepped out of the lunar module Eagle and onto the moon's surface, famously declaring "That's one small step for man, one giant leap for mankind."\n\nSo, the first man on the moon was Neil Armstrong!'

Llama.cpp

Llama.cpp与广泛的模型兼容。

例如，我们在HuggingFace下载的4位量化的llama2-13b上运行推理。

如上所述，请参见API参考以获取完整的参数集。

从lamma.cpp API参考文档中，有一些值得评论的：

n_gpu_layers：要加载到GPU内存中的层数

•值：1•意义：通常只将模型的一层加载到GPU内存中（1通常足够）。

n_batch：模型应该并行处理的令牌数量

•值：n_batch•意义：建议选择1到n_ctx（在这个案例中设置为2048）之间的值。

n_ctx：令牌上下文窗口

•值：2048•意义：模型每次将考虑2048个令牌的窗口。

f16_kv：模型是否应该对键/值缓存使用半精度

•值：True•意义：模型将使用半精度，这可能更节省内存；Metal只支持True。

from langchain_community.llms import LlamaCpp
from langchain_core.callbacks import CallbackManager, StreamingStdOutCallbackHandler

llm = LlamaCpp(
    model_path="/Users/rlm/Desktop/Code/llama.cpp/models/openorca-platypus2-13b.gguf.q4_0.bin",    
    n_gpu_layers=1,    
    n_batch=512,    
    n_ctx=2048,    
    f16_kv=True,    
    callback_manager=CallbackManager([StreamingStdOutCallbackHandler()]),    
    verbose=True,
)

控制台日志将显示以下内容，以指示Metal已正确启用：

ggml_metal_init: allocatin
gggml_metal_init: using MPS

llm.invoke("The first man on the moon was ... Let's think step by step")

GPT4All

我们可以使用从GPT4All模型浏览器下载的模型权重。

与上面显示的类似，我们可以运行推理并使用API参考来设置感兴趣的参数。

llamafile

使用llamafile在本地运行LLM的最简单方法是：

从HuggingFace下载一个llamafile 2) 使文件可执行 3) 运行文件

llamafiles将模型权重和一个特别编译版本的llama.cpp捆绑到一个单一文件中，可以在大多数计算机上运行，无需任何额外依赖。它们还带有一个内置的推理服务器，提供与您的模型交互的API。

以下是一个简单的bash脚本，显示所有3个设置步骤：

# 从HuggingFace下载一个llamafile
wget https://huggingface.co/jartine/TinyLlama-1.1B-Chat-v1.0-GGUF/resolve/main/TinyLlama-1.1B-Chat-v1.0.Q5_K_M.llamafile

# 使文件可执行。在Windows上，改为将文件重命名为以".exe"结尾。
chmod +x TinyLlama-1.1B-Chat-v1.0.Q5_K_M.llamafile

# 启动模型服务器。默认监听 http://localhost:8080。
./TinyLlama-1.1B-Chat-v1.0.Q5_K_M.llamafile --server --nobrowser

运行上述设置步骤后，您可以使用LangChain与模型交互：