TVM简介

TVM

FGPA,CPU, GPU

1.什么是TVM?

是一个支持GPU,CPU,FPGA指令生成的开源编译器框架

2.特点

基于图和算符结构来优化指令生成,最大化硬件执行效率。其中使用了很多方法

来改善硬件执行速度,包括算符融合、数据规划、基于机器学习的优化器等。它

向上对接Tensorflow、Pytorch等深度学习框架,向下兼容GPU、CPU、ARM、

TPU等硬件设备。

3.整体架构

TVM是一个端到端的指令生成器。

整个架构是基于图描述结构,不论是对指令的优化还是指令生成,一个图结构

清晰的描述了数据流方向,操作之间的依赖关系等。

4.主要特点

1、基于GPU、TPU等硬件架构,将张量运算作为一个基本的算符,通过把一个深

度学习网络描述成图结构来抽象出数据计算流程。在这样的图结构基础上,更方便

记忆优化。同时能够有更好的向上向下兼容性,同时支持多种深度学习框架和硬件

架构。

2、巨大的优化搜索空间。在优化图结构方面,其不再局限于通过某一种方式,而是

通过机器学习方法来搜索可能的空间来最大化部署效率。这种方式虽然会导致编译器

较大的计算量,但是更加通用。

TVM提供了一个非常简单的端到端用户接口,通过调用TVM的API可以很方便的进行

硬件部署。比如:

python 复制代码
import tvm as t

# 将keras模型输入到TVM,指定部署的硬件GPU,然后进行优化和代码生成。
graph, params = t.fronted.from_keras(keras_model)
target = t.target.cuda()
graph, lib, params = t.compiler.build(graph, target, params)

TVM也提供了Java、C++和python界面供用户统一调用。

5.图结构基本优化

TVM图优化策略:

算符融合:将可以在硬件上用一个算符完成的多个连续运算合并;

常量折叠:将可以预先计算的数据放在编译器中完成,减少硬件计算;

存储规划:预先为中间数据分配存储空间来存储中间值,避免中间数据无法存储在片上而增加片外

存储开销;

数据规划:重新排列数据有利于硬件计算。

6.张量计算

TVM采用Halide思想,通过使用schedule来对张量计算进行等价变换,从中计算出执行效率最高的

schedule结构。整个schedule流程如下:

还增加了三种针对GPU和TPU的schedule方式:spicile memory scope,

tensorrization, latency hiding。

并行化计算:

需要考虑两点问题:并行度、数据共享。

TVM提出了memory scope的概念,其将数据计算进行可并行和不可并行分类,对于可以并行计算的,

就可以使用多线程来并行计算,而不可并行,则需要等待被依赖数据计算完成。

存储读写优化

7.自动优化器

一个机器学习模型来寻找最优化的schedule结构。其包含两部分:一部分是基于schedule方式产生

所有可能的计算结构;另外一个是机器学习代驾模型来预测可能性。

8.编译流程

相关推荐
第二层皮-合肥18 小时前
FPGA硬件设计-基础流程
fpga开发
第二层皮-合肥19 小时前
FPGA硬件开发-Xilinx产品介绍
fpga开发
XINVRY-FPGA19 小时前
XCVP1902-2MSEVSVA6865 AMD 赛灵思 XilinxVersal Premium FPGA
人工智能·嵌入式硬件·神经网络·fpga开发·云计算·腾讯云·fpga
热爱学习地派大星20 小时前
FPGA实现CRC校验
fpga开发
芒果树技术21 小时前
MT-PXle RIO模块【高性能FPGA+ LVDS】采用FPGA实现高效LVDS通讯
fpga开发·模块测试·fpga
明月清了个风1 天前
STM32初始化串口重定向后printf调试信息不输出的问题
stm32·单片机·fpga开发·嵌入式软件
通信小呆呆1 天前
电路思维下的 Verilog:如何区分组合逻辑与时序逻辑
fpga开发·电路·时序逻辑·跨时钟域·组合逻辑
嵌入式-老费1 天前
Zynq开发实践(FPGA之uart接收)
fpga开发
蒋星熠2 天前
Flutter跨平台工程实践与原理透视:从渲染引擎到高质产物
开发语言·python·算法·flutter·设计模式·性能优化·硬件工程
ShiMetaPi2 天前
操作【GM3568JHF】FPGA+ARM异构开发板 使用指南:蓝牙
arm开发·嵌入式硬件·fpga开发·rk3568