一 DPU概述
DPU是专为卷积神经网络优化的可编程引擎，其使用专用指令集，支持诸多卷积神经网络的有效实现。
1、关键模块
- 卷积引擎：常规CONV等
- ALU：DepthwiseConv
- Scheduler：指令调度分发
- Buffer Group：片上数据缓存
- Data Mover：高速数据通道
2、特性
3、工作流程
- 阶段一：上电后，DPU将指令从外部DRAM加载到片上，译码并分发至各个模块；并根据指令通过DMA将相应权重和输入特征图加载至片上缓存
- 阶段二：计算引擎根据调度算法将所需数据加载至计算阵列中，通过并行计算引擎完成计算任务
- 阶段三： 一旦完成当。前层计算任务，则需要将输出特征图通过DMA写回片外DRAM，然后开启下一层计算任务。进而实现整个网络的逐层加速计算
二 设计分析
DPU通过组合多种并行度来搭配多种卷积架构，DPU卷积架构包括三个维度的并行度：像素并行度/输入通道并行度/输出通道并行度（通常输入通道并行度=输出通道并行度）。
1、并行度
- 像素并行度：PP
- 输入通道并行度：ICP
- 输出通道并行度：OCP
2**、计算模式**
数据排布格式猜测大致为：NHWC
计算模式：
- 1 优先复用输入通道：计算卷积时每次将部分输入特征图从外部缓存读到FPGA片上缓存，卷积计算时优先复用输入特征图，计算尽可能多的输出通道结果，避免计算不同输出通道时多次加载这部分特征图。
- 2 然后复用输出通道：基于1，每次计算尽可能多的计算输出通道，因片上缓存资源受限，通常无法一次计算玩所有输出通道，这里需要配合调度优先计算剩余的输出通道。
- 3 采用输出复用方法：输出数据复用对输出缓存具有最少的访问次数，计算过程中，将累加的中间结果保存在片上，直到全部结果累加结束再存回片外。
3**、架构设计**
DPU计算架构设计如下图红色方框部分
CONV计算阵列：计算阵列包括P个PE，每个PE用于完成1个输出像素计算，P个PE完成P个并行像素的卷积计算；每个PE包含OCP个计算阵列，每个计算阵列包含ICP个MACs，分别完成输出通道并行/输出通道并行的卷积计算。
单个计算阵列中包含多个乘法器单元，加法树，非线性计算采用流水线方式设计，通过复制OCP个并行流水线，完成OCP并行度的输出通道卷积运算。也包含任意尺寸的池化、逐元素、尺寸变换、全连接等
Memory POOL：缓存池根据相关专利，为统一缓存池，与传统的输入缓冲区-计算核阵列-输出缓存区结构不同，其采用统一的缓存池，多通道数据读写调度单元设计。DPU根据不同网络不同层的特点，动态申请、分配来使用相应的缓存空间，最大化利用片上缓存资源。
卷积计算单元和ALU可以脱离顺序执行的流水线限制而彼此独立，同时可以保证各计算单元的数据吞吐率，有效提升计算模块的灵活性和并行度。
4**、指令集**
DPU采用多指令多数据流架构，包含指令类型如下：
- LOAD：数据加载
- SAVE：数据缓存
- CONV：卷积计算，包括常规卷积/转置卷积等
- MISC：逐通道卷积等
具有以下特点：
- 不同类别指令并行执行
- 相同类别指令串行执行
- 不同类别指令间存在相互依赖
- 依赖关系不应存在死锁
指令优化：
- 将访存和计算并行，提高计算单元利用率
- 通过调整tile策略和大小，优化系统访存
指令字段包括：操作码（区分不同指令类型）、依赖码（不同类型指令集安存在并行可能性）、指令参数（具体指令功能描述）
待补充。。。
三 参考文献
[1] 深鉴相关专利
[2] 清华大学NICS-EFC组相关paper
[3]XILINX DPU相关datasheet