TVM简介

TVM

FGPA,CPU, GPU

1.什么是TVM?

是一个支持GPU,CPU,FPGA指令生成的开源编译器框架

2.特点

基于图和算符结构来优化指令生成,最大化硬件执行效率。其中使用了很多方法

来改善硬件执行速度,包括算符融合、数据规划、基于机器学习的优化器等。它

向上对接Tensorflow、Pytorch等深度学习框架,向下兼容GPU、CPU、ARM、

TPU等硬件设备。

3.整体架构

TVM是一个端到端的指令生成器。

整个架构是基于图描述结构,不论是对指令的优化还是指令生成,一个图结构

清晰的描述了数据流方向,操作之间的依赖关系等。

4.主要特点

1、基于GPU、TPU等硬件架构,将张量运算作为一个基本的算符,通过把一个深

度学习网络描述成图结构来抽象出数据计算流程。在这样的图结构基础上,更方便

记忆优化。同时能够有更好的向上向下兼容性,同时支持多种深度学习框架和硬件

架构。

2、巨大的优化搜索空间。在优化图结构方面,其不再局限于通过某一种方式,而是

通过机器学习方法来搜索可能的空间来最大化部署效率。这种方式虽然会导致编译器

较大的计算量,但是更加通用。

TVM提供了一个非常简单的端到端用户接口,通过调用TVM的API可以很方便的进行

硬件部署。比如:

python 复制代码
import tvm as t

# 将keras模型输入到TVM,指定部署的硬件GPU,然后进行优化和代码生成。
graph, params = t.fronted.from_keras(keras_model)
target = t.target.cuda()
graph, lib, params = t.compiler.build(graph, target, params)

TVM也提供了Java、C++和python界面供用户统一调用。

5.图结构基本优化

TVM图优化策略:

算符融合:将可以在硬件上用一个算符完成的多个连续运算合并;

常量折叠:将可以预先计算的数据放在编译器中完成,减少硬件计算;

存储规划:预先为中间数据分配存储空间来存储中间值,避免中间数据无法存储在片上而增加片外

存储开销;

数据规划:重新排列数据有利于硬件计算。

6.张量计算

TVM采用Halide思想,通过使用schedule来对张量计算进行等价变换,从中计算出执行效率最高的

schedule结构。整个schedule流程如下:

还增加了三种针对GPU和TPU的schedule方式:spicile memory scope,

tensorrization, latency hiding。

并行化计算:

需要考虑两点问题:并行度、数据共享。

TVM提出了memory scope的概念,其将数据计算进行可并行和不可并行分类,对于可以并行计算的,

就可以使用多线程来并行计算,而不可并行,则需要等待被依赖数据计算完成。

存储读写优化

7.自动优化器

一个机器学习模型来寻找最优化的schedule结构。其包含两部分:一部分是基于schedule方式产生

所有可能的计算结构;另外一个是机器学习代驾模型来预测可能性。

8.编译流程

相关推荐
2501_922639581 天前
率能半导体 SS8230 H桥驱动芯片:15V/1.8A,覆盖摄像机、玩具、机器人三大场景
stm32·单片机·嵌入式硬件·硬件工程
2501_922639581 天前
率能半导体 SS8812T双通道H桥驱动芯片:36V/1.6A,覆盖POS打印机、安防相机、办公自动化、游戏机、机器人五大应用场景
stm32·单片机·嵌入式硬件·硬件工程
国科安芯1 天前
FPGA上电偶发不启动:多轨电源时序、PGOOD与并联供电的FAE排查笔记——ASP4644S2B在星载智能处理板中的工程应用分析
笔记·单片机·嵌入式硬件·fpga开发·低轨卫星·抗辐射
逻辑诗篇2 天前
基于 VPX 架构的 8 路 ADC / 8 路 DAC 信号采集处理板(VPX326)产品解析
fpga开发
菜鸟~noob2333 天前
[AI]间章:系列走到这里,聊聊后面的规划、造卡需要的软件平台,以及为什么我要先暂停更新
人工智能·python·fpga开发·django·pygame
星夜离尘5610 天前
FPGA 32 位字拆成 8 位字节:keep、last 与 ready/valid 背压下的多拍序列化
fpga开发·verilog
花月mmc11 天前
【FPGA】神经网络内容简介预告
嵌入式硬件·深度学习·神经网络·fpga开发
lisw0513 天前
用于医疗的磁驱动柔性微机器人研究进展!
机器人·自动化·硬件工程
LabVIEW开发13 天前
LabVIEW FPGA 编程:少编译几次的办法(系列 04/05)
fpga开发·labview
cmc102814 天前
318.关于在ip内部封装PLL,MMCM的注意事项
fpga开发