【论文解析】基于开源 Matrix 指令集扩展(矢量点积)的高性能 RISC-V 处理器“香山”(nanhu 版本)的 LLM 加速的研究

作者及发刊详情

摘要

正文

主要工作贡献

1)针对大模型自定义矢量点积扩展指令,并设计了专用硬件加速大语言模型的运算

2)基于香山处理器增加矢量点积计算单元和流水线处理逻辑,开发了包含上述指令的处理器nanhu-vdot

3)在FPGA上做测试,硬件资源和功耗几乎没有增加,矢量点积运算速度相比标量方法提高了 4 倍以上

4)在FPGA上进行GPT-2的推理,速度比纯软件实现提高了30%

实验评估

实验验证平台:Xilinx VU19P FPGA

选用模型: GPT-2

选用了三种模型。

工具:

  • 该测试系统基于香山处理器的操作系统环境
  • 通过测试接口将os可执行文件传输到FPGA的DDR中
  • 模型代码和推理程序存在linux的临时文件系统中

PPA

性能

对 GPT-2 小型模型、中型模型、大型模型的推理速度提升分别为 30.9%、27.8%、27.9%。

资源消耗

nanhu-vdot 相比"香山"(nanhu 版本)增加 15677 个 LUT 单元,占比 2.8%,增加 2486 个 Flip-Flop 单元,占比 0.9%,BRAMs 未增加。

功耗

"香山"(nanhu 版本)的功耗开销为 8.454W,nanhu-vdot 功耗为 8.494W。nanhu-vdot 相比于"香山"(nanhu版本)的功耗仅增加 0.5%.

软硬协同设计

硬件:编写矢量点积计算定制自定义扩展指令的单元设计代码,对矢量点积进行加速,与高性能处理器"香山"(nanhu 版本)一起编译,生成可仿真的比特流。

软件:

  • 增加自定义矢量点积计算指令
  • 修改编译器,使其支持扩展的指令
  • 修改 GPT-2 开源 C/C++代码,其中对于 int8 类型矢量点积计算部分通过汇编指令调用硬件执行单元,在调用硬件前后进行数据类型转换,最终通过硬件的加速计算得到文本输出。

自定义点积扩展指令

  • R-type 译码模式
  • Inst[11:7]表示交换后数据写回的目的寄存器号

模型修改

实现 GPT-2 大模型推理中元素类型为 int8 的矢量点积计算实现

硬件设计

设计了矢量点积计算单元和流水线处理逻辑,即VDOTU模块。

与CPU的集成方式

  • 将矢量点积扩展指令与高性能处理器"香山"(nanhu 版本)的流水线紧密、耦合。
  • 充分利用 "香山"的现有译码逻辑、寄存器堆和功能单元,尽可能减少额外的面积开销
  • 作为流水线中的执行部件,如下图中的EXE单元

VDOTU模块

该模块作为扩展指令的核心执行单元,采用SIMD向量化的执行方式。

  • VDOTU 默认配置为 8bit 的整形计算
  • 包含八路 8-bit 乘法器和七个加法器
  • 输出采用 64-bit,与处理器的通用寄存器大小一致

参考文献

该工作的硬件设计较为简单,大量的工作在原软件工作,特别是模型算子的移植。

值得借鉴的是该方案的测试流,极大的简化的软件工作,详细参考实验评估部分。

相关推荐
9527华安9 分钟前
FPGA实现SDI转LVDS视频发送,基于GTP+OSERDES2原语架构,提供工程源码和技术支持
fpga开发·音视频·lvds·gtp·sdi·oserdes2
三贝勒文子5 小时前
Synopsys 逻辑综合之 MultiBit Flip-Flop 与 ICG
fpga开发·eda·synopsys
骁的小小站6 小时前
HDLBits刷题笔记和一些拓展知识(十一)
开发语言·经验分享·笔记·其他·fpga开发
千宇宙航13 小时前
闲庭信步使用图像验证平台加速FPGA的开发:第九课——图像插值的FPGA实现
图像处理·计算机视觉·缓存·fpga开发
尤老师FPGA14 小时前
LVDS系列20:Xilinx 7系ISERDESE2原语(一)
fpga开发
GateWorld1 天前
RISC-V:开源芯浪潮下的技术突围与职业新赛道 (二) RISC-V架构深度解剖(上)
架构·risc-v·指令集精简·寄存器设计·特权架构·模块化扩展
XINVRY-FPGA1 天前
XCZU47DR-2FFVG1517I Xilinx FPGA AMD ZynqUltraScale+ RFSoC
人工智能·嵌入式硬件·fpga开发·信息与通信·信号处理·射频工程·fpga
forgeda1 天前
如何将FPGA设计的验证效率提升1000倍以上(3)
fpga开发·在线调试·硬件断点
千宇宙航2 天前
闲庭信步使用图像验证平台加速FPGA的开发:第六课——测试图案的FPGA实现
图像处理·计算机视觉·fpga开发
顾北川_野2 天前
Android ttyS2无法打开该如何配置 + ttyS0和ttyS1可以
android·fpga开发