LLM(大语言模型)部署加速方法——PagedAttention

一、vLLM 用于大模型并行推理加速 存在什么问题?

vLLM 用于大模型并行推理加速,其中核心改进是PagedAttention算法 ,在 vLLM 中,我们发现 LLM 服务的性能受到内存的瓶颈在自回归解码过程中,LLM 的所有输入标记都会生成其key和value张量,并且这些张量保存在 GPU 内存中以生成下一个token。这些缓存的key和value张量通常称为 KV 缓存。KV缓存是:

  • 占用大: LLaMA-13B 中的单个序列最多占用 1.7GB。
  • 动态变化:其大小取决于序列长度,序列长度变化很大且不可预测。因此,有效管理 KV 缓存提出了重大挑战。我们发现现有系统由于碎片和过度预留而浪费了60% - 80%的内存。

二、vLLM 如何 优化 大模型并行推理加速?

vllm引入了PagedAttention ,这是一种受操作系统中虚拟内存和分页的经典思想启发的注意力算法

三、什么是 PagedAttention?

与传统的注意力算法不同,PagedAttention 允许在不连续的内存空间中存储连续的key和value四、PagedAttention 如何存储 连续的key和value?

具体来说,PagedAttention 将每个序列的 KV 缓存划分为块,每个块包含固定数量token的key和value。在注

意力计算过程中,PagedAttention 内核有效地识别并获取这些块。

图一:PagedAttention

因为块在内存中不需要是连续的,所以我们可以像在操作系统的虚拟内存中一样以更灵活的方式管理key和value:可以将块视为页面,将token视为字节,将序列视为进程。序列的连续逻辑块通过块表映射到非连续物理 块。当新代币生成时,物理块会按需分配。

五、 PagedAttention 技术细节?

  1. 在 PagedAttention 中,内存浪费仅发生在序列的最后一个块中 。实际上,这会导致内存使用接近最佳,浪费率低于 4%。事实证明,内存效率的提高非常有益:它允许系统将更多序列一起批处理,提高 GPU 利用率, 从而显着提高吞吐量,如上面的性能结果所示;
  2. PagedAttention 还有另一个关键优势:高效的内存共享。例如,在并行采样中,从同一提示生成多个输出序列。在这种情况下,提示的计算和内存可以在输出序列之间共享。

图二: 采样过程

PagedAttention 自然可以通过其块表实现内存共享。与进程共享物理页的方式类似

六、 PagedAttention 如何 实现安全共享?

  • 动机:PagedAttention 中的不同序列可以通过将其逻辑块映射到同一物理块来共享块。这个时候就 设计到如何 安全共享问题;

思路:PagedAttention 跟踪物理块的引用计数并实现Copy-on-Write机制

图三 对多个输出进行采样的请求的示例生成过程

PageAttention 的内存共享极大地降低了复杂采样算法的内存开销,例如并行采样和波束搜索,将其内存占用降低高达 55%。这可以将吞吐量提高高达 2.2 倍。

七、 PagedAttention 源码介绍?

PagedAttention 是 vLLM 背后的核心技术,vLLM 是 LLM 推理和服务引擎,支持各种具有高性能和易于使用的界面的模型。

从vllm的源码中我们可以看出来,vllm是怎么样对于huggingface models上的模型进行推理优化的。

相关推荐
程序员陆通7 分钟前
独立开发A/B测试实用教程
人工智能·ai编程
knowfoot8 分钟前
硬核拆解!跟着公式“走”一遍,你也能彻底看懂神经网络
人工智能·神经网络
FF-Studio15 分钟前
大语言模型(LLM)课程学习(Curriculum Learning)、数据课程(data curriculum)指南:从原理到实践
人工智能·python·深度学习·神经网络·机器学习·语言模型·自然语言处理
DDDDDouble18 分钟前
<二>Sping-AI alibaba 入门-记忆聊天及持久化
java·人工智能
PyAIExplorer19 分钟前
图像处理中的插值方法:原理与实践
图像处理·人工智能
狗头大军之江苏分军30 分钟前
疑似华为盘古AI大模型翻车造假风波【实时记录篇】
人工智能·机器学习·程序员
Mr.Winter`30 分钟前
轨迹优化 | 基于激光雷达的欧氏距离场ESDF地图构建(附ROS C++仿真)
c++·人工智能·机器人·自动驾驶·ros·ros2·具身智能
机器之心2 小时前
刚刚,苹果基础模型团队负责人庞若鸣被Meta挖走!加入超级智能团队、年薪千万美元
人工智能
G.E.N.2 小时前
开源!RAG竞技场(2):标准RAG算法
大数据·人工智能·深度学习·神经网络·算法·llm·rag