tvm

27届大模型面试准备（六十七）：大模型推理编译与图优化工程——从计算图到高效内核本篇是"工程实战深化"的第 67 篇。前面我们写过推理引擎内核（A59：PagedAttention、调度器、显存管理）、注意力演进与 KV Cache（A36）、推理调度与弹性扩缩容（A66）。它们讨论的都是"运行时（runtime）"如何把已经存在的内核高效地排起来。但还有一个前置关卡经常被面试深挖：这些内核本身从哪来？为什么同一个 Transformer，用 torch.compile 能比 eager 模式快一倍，用 TensorRT-LLM 又能再快一截？答案在"编译期"——把计算图翻译成对硬

从 TVM 到 TileLang：一文读懂深度学习编译器为什么走向 Tile 化大模型时代，我们经常会接触到这样一些技术：PyTorch、CUDA、cuBLAS、FlashAttention、Triton、TVM、TileLang。

HyperAI超神经

【TVM教程】理解 Relax 抽象层TVM 现已更新到 0.21.0 版本，TVM 中文文档已经和新版本对齐。Apache TVM 是一个深度的深度学习编译框架，适用于 CPU、GPU 和各种机器学习加速芯片。

HyperAI超神经

【TVM教程】设计与架构本文档适用于想要了解 TVM 架构或积极开发项目的开发者。本文档组织结构如下：本指南提供了架构的一些补充视图。首先研究端到端的编译流程，并讨论关键的数据结构和转换。这种基于 runtime 的视图侧重于运行编译器时每个组件的交互，接下来我们将研究代码库的逻辑模块及其关系。本部分将提供该设计的静态总体视图。

HyperAI超神经

【TVM 教程】交叉编译与 RPCTVM 现已更新到 0.21.0 版本，TVM 中文文档已经和新版本对齐。Apache TVM 是一个深度的深度学习编译框架，适用于 CPU、GPU 和各种机器学习加速芯片。更多 TVM 中文文档可访问 →Apache TVM

HyperAI超神经

【TVM 教程】优化大语言模型TVM 现已更新到 0.21.0 版本，TVM 中文文档已经和新版本对齐。Apache TVM 是一个深度的深度学习编译框架，适用于 CPU、GPU 和各种机器学习加速芯片。更多 TVM 中文文档可访问 →Apache TVM

HyperAI超神经

【TVM 教程】设置 RPC 系统Apache TVM是一个深度的深度学习编译框架，适用于 CPU、GPU 和各种机器学习加速芯片。更多 TVM 中文文档可访问 →tvm.hyper.ai/

胡乱儿起个名

Relay算子注册（在pytorch.py端调用）路径: src/relay/op/nn/nn.cc路径: src/relay/op/nn/activation.cc

胡乱儿起个名

PrimExpr 与 RelayExpr 的区别在 TVM 的表达式系统中，PrimExpr 和 RelayExpr 是两种不同层级的表达式类型，分别服务于 TVM 的不同编译阶段和目标场景。以下是它们的核心区别和关联：

胡乱儿起个名

Relay IR的核心数据结构在 Apache TVM 的 Relay IR 中，基础节点（Var、Const、Call、Function 和 Expr）是构建计算图的核心数据结构。以下是对它们的详细解析，包括定义、作用、内部组成及相互关系：

胡乱儿起个名

《Relay IR的基石：expr.h 中的表达式类型系统剖析》在TVM的Relay IR中，即使是看似简单的常量表达式relay.const(1)，其背后也隐藏着整个类型系统的精妙设计。让我们从include/tvm/relay/expr.h中的Constant类入手，逐步拆解…"

HyperAI超神经

【TVM教程】使用自定义调度规则（Sketch Rule）在 CPU 上自动调度稀疏矩阵乘法Apache TVM是一个深度的深度学习编译框架，适用于 CPU、GPU 和各种机器学习加速芯片。更多 TVM 中文文档可访问 →https://tvm.hyper.ai/

HyperAI超神经

【TVM教程】使用 TVMC Micro 执行微模型Apache TVM是一个深度的深度学习编译框架，适用于 CPU、GPU 和各种机器学习加速芯片。更多 TVM 中文文档可访问 →https://tvm.hyper.ai/

HyperAI超神经

【TVM教程】为 ARM CPU 自动调优卷积网络Apache TVM 是一个深度的深度学习编译框架，适用于 CPU、GPU 和各种机器学习加速芯片。更多 TVM 中文文档可访问 →https://tvm.hyper.ai/

HyperAI超神经

【TVM 教程】使用 Tensorize 来利用硬件内联函数Apache TVM 是一个端到端的深度学习编译框架，适用于 CPU、GPU 和各种机器学习加速芯片。更多 TVM 中文文档可访问 → https://tvm.hyper.ai/

HyperAI超神经

【TVM 教程】在 Relay 中使用外部库Apache TVM 是一个端到端的深度学习编译框架，适用于 CPU、GPU 和各种机器学习加速芯片。更多 TVM 中文文档可访问 → https://tvm.hyper.ai/

HyperAI超神经

【TVM 教程】在 CUDA 上部署量化模型更多 TVM 中文文档可访问 →Apache TVM 是一个端到端的深度学习编译框架，适用于 CPU、GPU 和各种机器学习加速芯片。 | Apache TVM 中文站

极乐净土0822

ubuntu20.04 tvm 安装教程ubuntu20.04 tvm 安装教程：参考： 1. https://tvm.hyper.ai/docs/install/from_source/ 2. https://blog.csdn.net/wenwen_2020/article/details/134856293

AI编译器的后端优化策略工作领域是AI芯片工具链相关，很多相关知识的概念都是跟着项目成长建立起来，但是比较整个技术体系在脑海中都不太系统，比如项目参与中涉及到了很多AI编译器开发相关内容，东西比较零碎，工作中也没有太多时间去做复盘与查漏补缺。但是最近比较闲，发现了一个宝藏级的B站博主，系统的讲了很多AI芯片领域的知识，并把课程资源开源维护，极力推荐大家多多关注。在这里当个搬运工，传播一下。

Ubuntu20.04上编译安装TVM本文主要讲述如何在ubuntu20.04平台上编译TVM代码并在python中import tvm成功。