《昇思25天学习打卡营第4天|07函数式自动微分》

说在前面

前面几节课学习了mindspore的一些操作方法,接下来学习下稍微有一些技术含量的内容。

正向计算图

图中内容对应的代码如下,为了便于查看分析,增加了对数据的shape打印:

python 复制代码
x = ops.ones(5, mindspore.float32)  # input tensor
y = ops.zeros(3, mindspore.float32)  # expected output
w = Parameter(Tensor(np.random.randn(5, 3), mindspore.float32), name='w') # weight
b = Parameter(Tensor(np.random.randn(3,), mindspore.float32), name='b') # bias

print(f"x shape {x.shape}")
print(f"y shape {y.shape}")
print(f"w shape {w.shape}")
print(f"b shape {b.shape}")

可以查看到输出的结果是

shell 复制代码
x shape (5,)
y shape (3,)
w shape (5, 3)
b shape (3,)

简单理解是:

xshape为[5],和w[5, 3]相乘,获得的结果理论上是[3]的大小。之后和b相加,结果仍然是[3],也就是图片中的z,其实应该有一个激活函数的,对应图片中的CE,也就是交叉熵损失函数。

对应的代码是

python 复制代码
def function(x, y, w, b):
    z = ops.matmul(x, w) + b
    loss = ops.binary_cross_entropy_with_logits(z, y, ops.ones_like(z), ops.ones_like(z))
    return loss

模型网络正向逻辑介绍完毕。

反向计算逻辑

上面的公式中,w和b是模型训练过程中需要学习的参数,因此反向主要是更新w和b。

在mindspone中的方法是:

python 复制代码
grad_fn = mindspore.grad(function, (2, 3))

获得计算结果:

到这里,也就介绍完毕算子的正向和反向的使用方法。

接下来会通过神经网络的例子,介绍自动微分的功能。

最后将x,y 导入,然后进行执行:

打卡

完成mindspone的自动微分学习,感觉使用起来没那么顺畅了。

相关推荐
又是忙碌的一天10 小时前
前端学习 JavaScript(2)
前端·javascript·学习
蒙奇D索大10 小时前
【数据结构】考研数据结构核心考点:二叉排序树(BST)全方位详解与代码实现
数据结构·笔记·学习·考研·算法·改行学it
玲娜贝儿--努力学习买大鸡腿版10 小时前
推荐算法学习笔记(十九)阿里SIM 模型
笔记·学习·推荐算法
光影少年10 小时前
Flutter生态及学习路线
学习·flutter
尤利乌斯.X10 小时前
复杂网络仿真从入门到精通:0 学习路线
网络·学习·matlab·仿真·复杂网络
梦幻精灵_cq10 小时前
70行代码展现我的“毕生”编程能力
学习
Yupureki11 小时前
从零开始的C++学习生活 6:string的入门使用
c语言·c++·学习·visual studio
我命由我1234511 小时前
Photoshop - Photoshop 工具栏(10)透视裁剪工具
经验分享·笔记·学习·ui·职场和发展·职场发展·photoshop
sensen_kiss12 小时前
INT301 Bio-computation 生物计算(神经网络)Pt.1 导论与Hebb学习规则
人工智能·神经网络·学习
koko4212 小时前
天津小公司面经
java·学习·面试