TVM简介

TVM

FGPA,CPU, GPU

1.什么是TVM?

是一个支持GPU,CPU,FPGA指令生成的开源编译器框架

2.特点

基于图和算符结构来优化指令生成,最大化硬件执行效率。其中使用了很多方法

来改善硬件执行速度,包括算符融合、数据规划、基于机器学习的优化器等。它

向上对接Tensorflow、Pytorch等深度学习框架,向下兼容GPU、CPU、ARM、

TPU等硬件设备。

3.整体架构

TVM是一个端到端的指令生成器。

整个架构是基于图描述结构,不论是对指令的优化还是指令生成,一个图结构

清晰的描述了数据流方向,操作之间的依赖关系等。

4.主要特点

1、基于GPU、TPU等硬件架构,将张量运算作为一个基本的算符,通过把一个深

度学习网络描述成图结构来抽象出数据计算流程。在这样的图结构基础上,更方便

记忆优化。同时能够有更好的向上向下兼容性,同时支持多种深度学习框架和硬件

架构。

2、巨大的优化搜索空间。在优化图结构方面,其不再局限于通过某一种方式,而是

通过机器学习方法来搜索可能的空间来最大化部署效率。这种方式虽然会导致编译器

较大的计算量,但是更加通用。

TVM提供了一个非常简单的端到端用户接口,通过调用TVM的API可以很方便的进行

硬件部署。比如:

python 复制代码
import tvm as t

# 将keras模型输入到TVM,指定部署的硬件GPU,然后进行优化和代码生成。
graph, params = t.fronted.from_keras(keras_model)
target = t.target.cuda()
graph, lib, params = t.compiler.build(graph, target, params)

TVM也提供了Java、C++和python界面供用户统一调用。

5.图结构基本优化

TVM图优化策略:

算符融合:将可以在硬件上用一个算符完成的多个连续运算合并;

常量折叠:将可以预先计算的数据放在编译器中完成,减少硬件计算;

存储规划:预先为中间数据分配存储空间来存储中间值,避免中间数据无法存储在片上而增加片外

存储开销;

数据规划:重新排列数据有利于硬件计算。

6.张量计算

TVM采用Halide思想,通过使用schedule来对张量计算进行等价变换,从中计算出执行效率最高的

schedule结构。整个schedule流程如下:

还增加了三种针对GPU和TPU的schedule方式:spicile memory scope,

tensorrization, latency hiding。

并行化计算:

需要考虑两点问题:并行度、数据共享。

TVM提出了memory scope的概念,其将数据计算进行可并行和不可并行分类,对于可以并行计算的,

就可以使用多线程来并行计算,而不可并行,则需要等待被依赖数据计算完成。

存储读写优化

7.自动优化器

一个机器学习模型来寻找最优化的schedule结构。其包含两部分:一部分是基于schedule方式产生

所有可能的计算结构;另外一个是机器学习代驾模型来预测可能性。

8.编译流程

相关推荐
千宇宙航7 小时前
闲庭信步使用图像验证平台加速FPGA的开发:第十四课——图像二值化的FPGA实现
图像处理·计算机视觉·fpga开发
千宇宙航11 小时前
闲庭信步使用图像验证平台加速FPGA的开发:第十五课——基于sobel算子边缘检测的FPGA实现
图像处理·计算机视觉·fpga开发
szxinmai主板定制专家14 小时前
基于光栅传感器+FPGA+ARM的测量控制解决方案
arm开发·人工智能·嵌入式硬件·fpga开发
逼子格16 小时前
权电阻网络DAC实现电压输出型数模转换Multisim电路仿真——硬件工程师笔记
笔记·嵌入式硬件·硬件工程·硬件工程师·adc·硬件工程师真题·权电阻网络dac
千宇宙航1 天前
闲庭信步使用图像验证平台加速FPGA的开发:第十课——图像gamma矫正的FPGA实现
图像处理·计算机视觉·缓存·fpga开发
fei_sun1 天前
【FPGA】LUT如何实现组合逻辑、时序逻辑
fpga开发
小眼睛FPGA1 天前
【RK3568+PG2L50H开发板实验例程】FPGA部分 | 以太网传输实验例程
科技·单片机·嵌入式硬件·ai·fpga开发·fpga
千宇宙航2 天前
闲庭信步使用图像验证平台加速FPGA的开发:第十二课——图像增强的FPGA实现
图像处理·计算机视觉·fpga开发
hahaha60162 天前
通过Tcl脚本命令:set_param labtools.auto_update_hardware 0
fpga开发
霖002 天前
FPGA通信设计十问
运维·人工智能·经验分享·vscode·fpga开发·编辑器