AI 编译器系列(三)《PyTorch 中图优化》

目录

[PyTorch 基础介绍](#PyTorch 基础介绍)

动态计算图的优势与劣势

[PyTorch 中的图优化](#PyTorch 中的图优化)

[1. TorchScript](#1. TorchScript)

[2. torch.fx](#2. torch.fx)

[3. PyTorch 2.0 时代:torch.compile](#3. PyTorch 2.0 时代:torch.compile)

总结


本文主要讲解 PyTorch 核心设计理念与图优化技术体系演进。

PyTorch 基础介绍

动态计算图的优势与劣势

PyTorch 中的图优化

  • • 前端:在保持 Python 动态语义的前提下,对张量相关计算进行捕获与抽象,生成可优化的中间表示(IR)

  • • 后端:基于中间表示进行图级优化、调度与代码生成

1. TorchScript

  • • 介绍:通过torch.jit实现

  • • 两个接口:

    • • torch.jit.trace

    • • torch.jit.script

2. torch.fx

  • • 介绍:Python 层 IR 与图变换工具

  • • 技术亮点:

    • • Symbolic Tracing:通过 Proxy 对象代替输入张量,记录所有张量运算的结构与路径。

    • • fx IR :高度简洁,6 种核心指令,placeholder、get_attr、call_function、call_module、call_method、output。

  • • Python 源到源转换:

    • • IR 反向映射回 Python 源码

    • • 基于 FX Graph 修改模型结构,导出新的nn.Module代码

3. PyTorch 2.0 时代:torch.compile

  • • 介绍:统一编译接口,在尽量保留 Python 动态语义的前提下,通过图捕获与优化提升执行效率

  • • 组件与步骤:

    • • TorchDynamo(前端) :解释器级 tracing 框架,在 Python 字节码层面捕获张量相关计算,生成受 guard 约束的 FX Graph

      • • 工作原理:拦截 Python 函数执行,记录张量相关 IR

      • • Guards 机制:监控变量类型与值,确保重用编译图

      • • Graph Break:子图划分,处理无法转换为静态图的部分

  • • AOT Autograd:提前生成前向与反向联合计算图

    • • 工作流程:Dispatcher 机制拦截与重定义 Tensor 操作,切分正反向计算图
  • • TorchInductor(后端):后端优化,生成高效可执行代码

    • • 工作流程:接受 FX Graph,进行算子融合、内存规划与调度优化,并生成高效的执行代码

    • • 示例:CUDA 设备上的 Triton 后端代码生成过程

总结

本文讲了 PyTorch 图优化技术体系的演进历程与核心特性。后续将讲解 AI 编译器中的后端优化。

相关推荐
特立独行的猫A2 小时前
别再用 nohup 了:让应用在后台常驻的正确姿势与 systemd 服务详解
java·后端·python
对你无可奈何2 小时前
给 ComfyUI 做了一个手机助手
人工智能
feasibility.4 小时前
英伟达把物理AI的3D模型“应用商店”开放了:2575个SimReady仿真资产,总计约472GB,可让agent装配机器人训练场景
人工智能·3d·机器人·仿真·建模·具身智能·英伟达
智联视频超融合平台4 小时前
消防宣传月过半,“AI+消防“给视频平台换了张考卷
人工智能·边缘计算·视频监控·安防·视频联网
冬奇Lab5 小时前
一天一个开源项目(第262篇):AG-UI —— 把 AI Agent 接进前端的开放协议,和 MCP、A2A 并列的第三块拼图
人工智能·开源
吃我一窝jio5 小时前
Python与Go线程模型深度对比
java·开发语言·python
罗西的思考6 小时前
【轻量化复现大模型 / KIMI K3】MTP / EAGLE‑3 模块交互式演示
人工智能·深度学习·算法
zwd20056 小时前
Manim 怎么放大画面的某一部分?
python·动画·可视化·manim·数学动画
屿华AI7 小时前
AUTOSAR 实战-诊断工具 | UDS 0x27 安全访问的配置化实现:种子密钥算法插件化设计
python·测试工具·汽车
RobinDevNotes7 小时前
Claude Code 剪视频,不上传、不要 API Key
人工智能·python·音视频·开发工具·ipython