昇思25天学习打卡营第14天|静态图加速

鹅毛在路上了2024-07-10 9:09

文章目录

昇思MindSpore入门学习补档

本系列文章主要用于记录昇思25天学习打卡营的学习心得。

1、基于Mindspore的静态图加速

基于MindSpore的AI编译框架分为两种运行模式，分别是动态图模式以及静态图模式 。

MindSpore默认情况下是以动态图模式运行，但也支持手动切换为静态图模式。两种运行模式的区别如下：

动态图模式

动态图的特点是计算图的构建和计算同时发生 （Define by run），其符合Python的解释执行方式，在计算图中定义一个Tensor时，其值就已经被计算且确定，因此在调试模型时较为方便，能够实时得到中间结果的值，但由于所有节点都需要被保存，导致难以对整个计算图进行优化。

在MindSpore中，动态图模式又被称为PyNative模式。由于动态图的解释执行特性，在脚本开发和网络流程调试过程中，推荐使用动态图模式进行调试。

如需要手动控制框架采用PyNative模式，可以通过以下代码进行网络构建：

python 复制代码 
import numpy as np
import mindspore as ms
from mindspore import nn, Tensor
ms.set_context(mode=ms.PYNATIVE_MODE)  # 使用set_context进行默认的动态图模式PYNATIVE_MODE的配置

class Network(nn.Cell):
    def __init__(self):
        super().__init__()
        self.flatten = nn.Flatten()
        self.dense_relu_sequential = nn.SequentialCell(
            nn.Dense(28*28, 512),
            nn.ReLU(),
            nn.Dense(512, 512),
            nn.ReLU(),
            nn.Dense(512, 10)
        )

    def construct(self, x):
        x = self.flatten(x)
        logits = self.dense_relu_sequential(x)
        return logits

model = Network()
input = Tensor(np.ones([64, 1, 28, 28]).astype(np.float32))   # 测试输入
output = model(input)
print(output)

# print_log
[[ 0.17612235 -0.18199953  0.19589128 -0.16678973  0.00903675  0.24997629
   0.08076952  0.02316903  0.18818295  0.0068727 ]
 [ 0.17612235 -0.18199953  0.19589128 -0.16678973  0.00903675  0.24997629
   0.08076952  0.02316903  0.18818295  0.0068727 ]
 [ 0.17612235 -0.18199953  0.19589128 -0.16678973  0.00903675  0.24997629
   0.08076952  0.02316903  0.18818295  0.0068727 ]
 [ 0.17612235 -0.18199953  0.19589128 -0.16678973  0.00903675  0.24997629
   0.08076952  0.02316903  0.18818295  0.0068727 ]
 [ 0.17612235 -0.18199953  0.19589128 -0.16678973  0.00903675  0.24997629
   0.08076952  0.02316903  0.18818295  0.0068727 ]
 [ 0.17612235 -0.18199953  0.19589128 -0.16678973  0.00903675  0.24997629
   0.08076952  0.02316903  0.18818295  0.0068727 ]
 [ 0.17612235 -0.18199953  0.19589128 -0.16678973  0.00903675  0.24997629
   0.08076952  0.02316903  0.18818295  0.0068727 ]
 [ 0.17612235 -0.18199953  0.19589128 -0.16678973  0.00903675  0.24997629
   0.08076952  0.02316903  0.18818295  0.0068727 ]
 [ 0.17612235 -0.18199953  0.19589128 -0.16678973  0.00903675  0.24997629
   0.08076952  0.02316903  0.18818295  0.0068727 ]
 [ 0.17612235 -0.18199953  0.19589128 -0.16678973  0.00903675  0.24997629
   0.08076952  0.02316903  0.18818295  0.0068727 ]
 [ 0.17612235 -0.18199953  0.19589128 -0.16678973  0.00903675  0.24997629
   0.08076952  0.02316903  0.18818295  0.0068727 ]
 [ 0.17612235 -0.18199953  0.19589128 -0.16678973  0.00903675  0.24997629
   0.08076952  0.02316903  0.18818295  0.0068727 ]
 [ 0.17612235 -0.18199953  0.19589128 -0.16678973  0.00903675  0.24997629
   0.08076952  0.02316903  0.18818295  0.0068727 ]]
静态图模式

相较于动态图而言，静态图的特点是将计算图的构建和实际计算分开 （Define and run）。有关静态图模式的运行原理，可以参考MindSpore官方文档-静态图语法支持。

在MindSpore中，静态图模式又被称为Graph模式，在Graph模式下，基于图优化、计算图整图下沉等技术，编译器可以针对图进行全局的优化，获得较好的性能，因此比较适合网络固定且需要高性能的场景。

如需要手动控制框架采用静态图模式，可以通过以下代码进行网络构建：

python 复制代码 
import numpy as np
import mindspore as ms
from mindspore import nn, Tensor
ms.set_context(mode=ms.GRAPH_MODE)  # 使用set_context进行运行静态图模式GRAPH_MODE的配置

class Network(nn.Cell):
    def __init__(self):
        super().__init__()
        self.flatten = nn.Flatten()
        self.dense_relu_sequential = nn.SequentialCell(
            nn.Dense(28*28, 512),
            nn.ReLU(),
            nn.Dense(512, 512),
            nn.ReLU(),
            nn.Dense(512, 10)
        )

    def construct(self, x):
        x = self.flatten(x)
        logits = self.dense_relu_sequential(x)
        return logits

model = Network()
input = Tensor(np.ones([64, 1, 28, 28]).astype(np.float32))
output = model(input)
print(output)

# print_log
[[ 0.06203532  0.16082796 -0.16709496 -0.13396177 -0.09940557  0.00221913
  -0.01732909  0.02681888 -0.03247008  0.01964065]
 [ 0.06203532  0.16082796 -0.16709496 -0.13396177 -0.09940557  0.00221913
  -0.01732909  0.02681888 -0.03247008  0.01964065]
 [ 0.06203532  0.16082796 -0.16709496 -0.13396177 -0.09940557  0.00221913
  -0.01732909  0.02681888 -0.03247008  0.01964065]
 [ 0.06203532  0.16082796 -0.16709496 -0.13396177 -0.09940557  0.00221913
  -0.01732909  0.02681888 -0.03247008  0.01964065]
 [ 0.06203532  0.16082796 -0.16709496 -0.13396177 -0.09940557  0.00221913
  -0.01732909  0.02681888 -0.03247008  0.01964065]
 [ 0.06203532  0.16082796 -0.16709496 -0.13396177 -0.09940557  0.00221913
  -0.01732909  0.02681888 -0.03247008  0.01964065]
 [ 0.06203532  0.16082796 -0.16709496 -0.13396177 -0.09940557  0.00221913
  -0.01732909  0.02681888 -0.03247008  0.01964065]
 [ 0.06203532  0.16082796 -0.16709496 -0.13396177 -0.09940557  0.00221913
  -0.01732909  0.02681888 -0.03247008  0.01964065]
 [ 0.06203532  0.16082796 -0.16709496 -0.13396177 -0.09940557  0.00221913
  -0.01732909  0.02681888 -0.03247008  0.01964065]
 [ 0.06203532  0.16082796 -0.16709496 -0.13396177 -0.09940557  0.00221913
  -0.01732909  0.02681888 -0.03247008  0.01964065]
 [ 0.06203532  0.16082796 -0.16709496 -0.13396177 -0.09940557  0.00221913
  -0.01732909  0.02681888 -0.03247008  0.01964065]
 [ 0.06203532  0.16082796 -0.16709496 -0.13396177 -0.09940557  0.00221913
  -0.01732909  0.02681888 -0.03247008  0.01964065]]
2024-07-09 15:18:00 Wayn_Fan-sail
2、静态图模式的使用场景

MindSpore编译器重点面向Tensor数据的计算以及其微分处理。因此使用MindSpore API以及基于Tensor对象的操作更适合使用静态图编译优化。其他操作虽然可以部分入图编译，但实际优化作用有限。另外，静态图模式先编译后执行的模式导致其存在编译耗时。因此，如果函数无需反复执行，那么使用静态图加速也可能没有价值。

有关使用静态图来进行网络编译的示例，请参考网络构建。

静态图模式开启方式

通常情况下，由于动态图的灵活性，我们会选择使用PyNative模式来进行自由的神经网络构建，以实现模型的创新和优化。但是当需要进行性能加速时，我们需要对神经网络部分或整体进行加速。MindSpore提供了两种切换为图模式的方式，分别是基于装饰器的开启方式以及基于全局context的开启方式。

基于装饰器的开启方式

用过Python的很多同学应该都见过"@xxx"这样的东东，没错，这就是修饰器的意思，修饰器（装饰器）在Python中可以让其他函数在不需要做任何代码变动的前提下增加额外功能，修饰器也叫装饰器，本身也是一个函数，是在原有的函数或者是方法上增添一些额外的功能。

Python内置了一些修饰器，如常见的：@property、@classmethod 和 @staticmethod

@property 装饰器用于将类的方法转换为属性 ，使得可以像访问属性一样访问方法。

使得访问方法像访问属性一样，代码更简洁。

可以在保持接口不变的情况下更改实现细节。

可以轻松添加对属性的验证和计算逻辑。

@classmethod 装饰器用于定义类方法。类方法的第一个参数必须是表示类本身的 cls，而不是实例。类方法通常用于创建类的工厂方法。

可以访问和修改类级别的属性。

常用于工厂方法，简化对象创建过程。

提供一种替代构造函数的方法来实例化对象。

@staticmethod 装饰器用于定义静态方法。静态方法不依赖于类或实例，它们类似于普通函数，但在类的命名空间中。静态方法通常用于实现逻辑上与类相关但不需要访问类或实例的功能。

逻辑上属于类，但不需要访问类或实例的状态。
不需要传递 self 或 cls 参数。

@staticmethod 在很多深度学习网络的代码中经常出现，虽然初学者第一次见会觉得很模糊，但实际上@staticmethod 装饰器可以提高代码组织性，将相关函数放在一起。

言归正传，MindSpore为用户提供了jit装饰器，可以通过修饰Python函数或者Python类的成员函数使其被编译成计算图 ，通过图优化等技术提高运行速度。此时我们可以简单的对想要进行性能优化的模块进行图编译加速，而模型其他部分，仍旧使用解释执行方式，不丢失动态图的灵活性。无论全局context是设置成静态图模式还是动态图模式，被jit修饰的部分始终会以静态图模式进行运行。

在需要对Tensor的某些运算进行编译加速时，可以在其定义的函数上使用jit修饰器，在调用该函数时，该模块自动被编译为静态图 。需要注意的是，jit装饰器只能用来修饰函数，无法对类进行修饰。jit的使用示例如下：

python 复制代码 
import numpy as np
import mindspore as ms
from mindspore import nn, Tensor

class Network(nn.Cell):
    def __init__(self):
        super().__init__()
        self.flatten = nn.Flatten()
        self.dense_relu_sequential = nn.SequentialCell(
            nn.Dense(28*28, 512),
            nn.ReLU(),
            nn.Dense(512, 512),
            nn.ReLU(),
            nn.Dense(512, 10)
        )

    def construct(self, x):
        x = self.flatten(x)
        logits = self.dense_relu_sequential(x)
        return logits

input = Tensor(np.ones([64, 1, 28, 28]).astype(np.float32))

@ms.jit  # 使用ms.jit装饰器，使被装饰的函数以静态图模式运行
def run(x):
    model = Network()
    return model(x)

output = run(input)
print(output)

# print_log
[[-0.12126954  0.06986676 -0.2230821  -0.07087803 -0.01003947  0.01063392
   0.10143848 -0.0200909  -0.09724037  0.0114444 ]
 [-0.12126954  0.06986676 -0.2230821  -0.07087803 -0.01003947  0.01063392
   0.10143848 -0.0200909  -0.09724037  0.0114444 ]
 [-0.12126954  0.06986676 -0.2230821  -0.07087803 -0.01003947  0.01063392
   0.10143848 -0.0200909  -0.09724037  0.0114444 ]
 [-0.12126954  0.06986676 -0.2230821  -0.07087803 -0.01003947  0.01063392
   0.10143848 -0.0200909  -0.09724037  0.0114444 ]
 ...
 [-0.12126954  0.06986676 -0.2230821  -0.07087803 -0.01003947  0.01063392
   0.10143848 -0.0200909  -0.09724037  0.0114444 ]
 [-0.12126954  0.06986676 -0.2230821  -0.07087803 -0.01003947  0.01063392
   0.10143848 -0.0200909  -0.09724037  0.0114444 ]
 [-0.12126954  0.06986676 -0.2230821  -0.07087803 -0.01003947  0.01063392
   0.10143848 -0.0200909  -0.09724037  0.0114444 ]
 [-0.12126954  0.06986676 -0.2230821  -0.07087803 -0.01003947  0.01063392
   0.10143848 -0.0200909  -0.09724037  0.0114444 ]]

当我们需要对神经网络的某部分进行加速时，可以直接在construct方法上使用jit修饰器，在调用实例化对象时，该模块自动被编译为静态图。

示例如下：

python 复制代码 
import numpy as np
import mindspore as ms
from mindspore import nn, Tensor

class Network(nn.Cell):
    def __init__(self):
        super().__init__()
        self.flatten = nn.Flatten()
        self.dense_relu_sequential = nn.SequentialCell(
            nn.Dense(28*28, 512),
            nn.ReLU(),
            nn.Dense(512, 512),
            nn.ReLU(),
            nn.Dense(512, 10)
        )

    @ms.jit  # 使用ms.jit装饰器，使被装饰的函数以静态图模式运行
    def construct(self, x):
        x = self.flatten(x)
        logits = self.dense_relu_sequential(x)
        return logits

input = Tensor(np.ones([64, 1, 28, 28]).astype(np.float32))
model = Network()
output = model(input)
print(output)

除使用修饰器外，也可使用函数变换方式调用jit方法，示例如下：

python 复制代码 
import numpy as np
import mindspore as ms
from mindspore import nn, Tensor

class Network(nn.Cell):
    def __init__(self):
        super().__init__()
        self.flatten = nn.Flatten()
        self.dense_relu_sequential = nn.SequentialCell(
            nn.Dense(28*28, 512),
            nn.ReLU(),
            nn.Dense(512, 512),
            nn.ReLU(),
            nn.Dense(512, 10)
        )

    def construct(self, x):
        x = self.flatten(x)
        logits = self.dense_relu_sequential(x)
        return logits

input = Tensor(np.ones([64, 1, 28, 28]).astype(np.float32))

def run(x):
    model = Network()
    return model(x)

run_with_jit = ms.jit(run)  # 通过调用jit将函数转换为以静态图方式执行
output = run(input)
print(output)
基于context的开启方式

context模式是一种全局的设置模式。代码在上述静态图加速中展示过：

python 复制代码 
import numpy as np
import mindspore as ms
from mindspore import nn, Tensor
ms.set_context(mode=ms.GRAPH_MODE)  # 使用set_context进行运行静态图模式的配置

class Network(nn.Cell):
    def __init__(self):
        super().__init__()
        self.flatten = nn.Flatten()
        self.dense_relu_sequential = nn.SequentialCell(
            nn.Dense(28*28, 512),
            nn.ReLU(),
            nn.Dense(512, 512),
            nn.ReLU(),
            nn.Dense(512, 10)
        )

    def construct(self, x):
        x = self.flatten(x)
        logits = self.dense_relu_sequential(x)
        return logits

model = Network()
input = Tensor(np.ones([64, 1, 28, 28]).astype(np.float32))
output = model(input)
print(output)
3、 静态图的语法约束

在Graph模式下，Python代码并不是由Python解释器去执行，而是将代码编译成静态计算图，然后执行静态计算图。因此，编译器无法支持全量的Python语法。MindSpore的静态图编译器维护了Python常用语法子集，以支持神经网络的构建及训练。详情可参考静态图语法支持。

JitConfig配置选项

在图模式下，可以通过使用JitConfig配置选项来一定程度的自定义编译流程，目前JitConfig支持的配置参数如下：

  • jit_level: 用于控制优化等级。
  • exec_mode: 用于控制模型执行方式。
  • jit_syntax_level: 设置静态图语法支持级别，详细介绍请见静态图语法支持。
静态图高级编程技巧

使用静态图高级编程技巧可以有效地提高编译效率以及执行效率，并可以使程序运行的更加稳定。详情可参考静态图高级编程技巧。

Reference

昇思大模型平台
昇思官方文档-静态图加速
Python【修饰器/装饰器】
python修饰符（装饰器）@property、@classmethod 和 @staticmethod

相关推荐
余生H4 分钟前
transformer.js（三）：底层架构及性能优化指南
javascript·深度学习·架构·transformer
罗小罗同学32 分钟前
医工交叉入门书籍分享：Transformer模型在机器学习领域的应用｜个人观点·24-11-22
深度学习·机器学习·transformer
孤独且没人爱的纸鹤35 分钟前
【深度学习】：从人工神经网络的基础原理到循环神经网络的先进技术，跨越智能算法的关键发展阶段及其未来趋势，探索技术进步与应用挑战
人工智能·python·深度学习·机器学习·ai
阿_旭38 分钟前
TensorFlow构建CNN卷积神经网络模型的基本步骤：数据处理、模型构建、模型训练
人工智能·深度学习·cnn·tensorflow
羊小猪~~39 分钟前
tensorflow案例7--数据增强与测试集, 训练集, 验证集的构建
人工智能·python·深度学习·机器学习·cnn·tensorflow·neo4j
极客代码1 小时前
【Python TensorFlow】进阶指南（续篇三）
开发语言·人工智能·python·深度学习·tensorflow
Seeklike1 小时前
11.22 深度学习-pytorch自动微分
人工智能·pytorch·深度学习
YRr YRr1 小时前
如何使用 PyTorch 实现图像分类数据集的加载和处理
pytorch·深度学习·分类
HPC_fac130520678164 小时前
以科学计算为切入点：剖析英伟达服务器过热难题
服务器·人工智能·深度学习·机器学习·计算机视觉·数据挖掘·gpu算力
老艾的AI世界12 小时前
AI翻唱神器，一键用你喜欢的歌手翻唱他人的曲目（附下载链接）
人工智能·深度学习·神经网络·机器学习·ai·ai翻唱·ai唱歌·ai歌曲
热门推荐
01(欧拉)openEuler系统添加网卡文件配置流程、(欧拉)openEuler系统手动配置ipv6地址流程、(欧拉)openEuler系统网络管理说明02PyTorch机器学习实现液态神经网络03【HarmonyOS】HUAWEI DevEco Studio 下载地址汇总04玄机平台应急响应—webshell查杀05Coze扣子平台完整体验和实践（附国内和国际版对比）06Ubuntu 20.04使用Livox mid 360 测试 FAST_LIO07【目标跟踪】相机运动补偿08Unity中PICO实现 隔空取物 和 接触抓取物体09RAG 实践- Ollama+RagFlow 部署本地知识库10怎样让音频速度变慢？请跟随以下方法进行操作