神经网络硬件加速器-DPU分析

一 DPU概述

DPU是专为卷积神经网络优化的可编程引擎,其使用专用指令集,支持诸多卷积神经网络的有效实现。

1、关键模块

  • 卷积引擎:常规CONV等
  • ALU:DepthwiseConv
  • Scheduler:指令调度分发
  • Buffer Group:片上数据缓存
  • Data Mover:高速数据通道

2、特性

3、工作流程

  • 阶段一:上电后,DPU将指令从外部DRAM加载到片上,译码并分发至各个模块;并根据指令通过DMA将相应权重和输入特征图加载至片上缓存
  • 阶段二:计算引擎根据调度算法将所需数据加载至计算阵列中,通过并行计算引擎完成计算任务
  • 阶段三: 一旦完成当。前层计算任务,则需要将输出特征图通过DMA写回片外DRAM,然后开启下一层计算任务。进而实现整个网络的逐层加速计算

二 设计分析

DPU通过组合多种并行度来搭配多种卷积架构,DPU卷积架构包括三个维度的并行度:像素并行度/输入通道并行度/输出通道并行度(通常输入通道并行度=输出通道并行度)。

1、并行度

  • 像素并行度:PP
  • 输入通道并行度:ICP
  • 输出通道并行度:OCP

2**、计算模式**

数据排布格式猜测大致为:NHWC

计算模式:

  • 1 优先复用输入通道:计算卷积时每次将部分输入特征图从外部缓存读到FPGA片上缓存,卷积计算时优先复用输入特征图,计算尽可能多的输出通道结果,避免计算不同输出通道时多次加载这部分特征图。
  • 2 然后复用输出通道:基于1,每次计算尽可能多的计算输出通道,因片上缓存资源受限,通常无法一次计算玩所有输出通道,这里需要配合调度优先计算剩余的输出通道。
  • 3 采用输出复用方法:输出数据复用对输出缓存具有最少的访问次数,计算过程中,将累加的中间结果保存在片上,直到全部结果累加结束再存回片外。

3**、架构设计**

DPU计算架构设计如下图红色方框部分

CONV计算阵列:计算阵列包括P个PE,每个PE用于完成1个输出像素计算,P个PE完成P个并行像素的卷积计算;每个PE包含OCP个计算阵列,每个计算阵列包含ICP个MACs,分别完成输出通道并行/输出通道并行的卷积计算。

单个计算阵列中包含多个乘法器单元,加法树,非线性计算采用流水线方式设计,通过复制OCP个并行流水线,完成OCP并行度的输出通道卷积运算。也包含任意尺寸的池化、逐元素、尺寸变换、全连接等

Memory POOL:缓存池根据相关专利,为统一缓存池,与传统的输入缓冲区-计算核阵列-输出缓存区结构不同,其采用统一的缓存池,多通道数据读写调度单元设计。DPU根据不同网络不同层的特点,动态申请、分配来使用相应的缓存空间,最大化利用片上缓存资源。

卷积计算单元和ALU可以脱离顺序执行的流水线限制而彼此独立,同时可以保证各计算单元的数据吞吐率,有效提升计算模块的灵活性和并行度。

4**、指令集**

DPU采用多指令多数据流架构,包含指令类型如下:

  • LOAD:数据加载
  • SAVE:数据缓存
  • CONV:卷积计算,包括常规卷积/转置卷积等
  • MISC:逐通道卷积等

具有以下特点:

  • 不同类别指令并行执行
  • 相同类别指令串行执行
  • 不同类别指令间存在相互依赖
  • 依赖关系不应存在死锁

指令优化:

  • 将访存和计算并行,提高计算单元利用率
  • 通过调整tile策略和大小,优化系统访存

指令字段包括:操作码(区分不同指令类型)、依赖码(不同类型指令集安存在并行可能性)、指令参数(具体指令功能描述)

待补充。。。

三 参考文献

1\] 深鉴相关专利 \[2\] 清华大学NICS-EFC组相关paper \[3\]XILINX DPU相关datasheet

相关推荐
却道天凉_好个秋27 分钟前
深度学习(二):神经元与神经网络
人工智能·神经网络·计算机视觉·神经元
UQI-LIUWJ28 分钟前
unsloth笔记:运行&微调 gemma
人工智能·笔记·深度学习
THMAIL31 分钟前
深度学习从入门到精通 - 生成对抗网络(GAN)实战:创造逼真图像的魔法艺术
人工智能·python·深度学习·神经网络·机器学习·生成对抗网络·cnn
却道天凉_好个秋33 分钟前
计算机视觉(八):开运算和闭运算
人工智能·计算机视觉·开运算与闭运算
无风听海34 分钟前
神经网络之深入理解偏置
人工智能·神经网络·机器学习·偏置
JoinApper35 分钟前
目标检测系列-Yolov5下载及运行
人工智能·yolo·目标检测
北京地铁1号线1 小时前
GPT(Generative Pre-trained Transformer)模型架构与损失函数介绍
gpt·深度学习·transformer
飞哥数智坊1 小时前
即梦4.0实测:我真想对PS说“拜拜”了!
人工智能
fantasy_arch1 小时前
9.3深度循环神经网络
人工智能·rnn·深度学习
Ai工具分享1 小时前
视频画质差怎么办?AI优化视频清晰度技术原理与实战应用
人工智能·音视频