pytorch自动微分

1. 一、torch.autograd.backward(tensors, grad_tensors=None, retain_graph=None, create_graph=False)功能：自动求取梯度

   • grad_tensors：多梯度权重

     # 自动求取梯度
     # import torch
     # w = torch.tensor([1.],requires_grad=True)
     # x = torch.tensor([2.],requires_grad=True)
     # a = torch.add(w, x) #逐位相加
     # b = torch.add(w, 1)
     # y = torch.mul(a, b)# 逐位相乘
     #
     # c = y.backward(retain_graph = True)
     # print(c)

   • create_graph：创建导数计算图，用于高阶求导

   • retain_graph：保存计算图

   • tensors：用于求导的张量，如 loss

   • 2、torch.autograd.grad(outputs, inputs, grad_outputs=None, retain_graph=None, create_graph=False)功能：求取梯度

     • outputs：用于求导的张量，如 loss
     • inputs：需要梯度的张量
     • create_graph：创建导数计算图，用于高阶求导
     • retain_graph：保存计算图
     • grad_outputs：多梯度权重

     # 求取梯度
     # import torch
     # x = torch.tensor([3.],requires_grad=True)
     # y = torch.pow(x, 2)
     # grad_1 = torch.autograd.grad(y, x, create_graph = True)
     # grad_2 = torch.autograd.grad(grad_1[0],x)
     # print(grad_2)

     • 实例

     # 实例，求y=x方的一阶与二阶偏导
     import torch
     x = torch.tensor([3.], requires_grad=True)
     y = torch.pow(x,2)
     
     #求取一阶导数
     grad_1 =torch.autograd.grad(y,x,create_graph=True)
     
     #求取二阶导数
     grad_2 = torch.autograd.grad(grad_1,x) #此处值x是确定的，开始给定了3
     
     # 展示一阶倒数的结果
     print(grad_1)
     #展示二阶导数结果
     print(grad_2)
     
     # 求取y=x的立方的一阶二阶三阶导数
     
     # 创建x的初值
     import torch
     
     # 创建x，并赋予初值
     x = torch.tensor([2],requires_grad = True)
     # 创建y
     y = torch.pow(x, 3)
     # 做一阶导数
     grad_1 = torch.autograd.grad(y, x, create_graph=True)
     # 做二阶导数
     grad_2 = torch.autograd.grad(grad_1[0], x, create_graph=True)
     # 做三阶导数
     grad_3 = torch.autograd.grad(grad_2[0], x, create_graph=False)
     
     print(grad_1)
     print(grad_2)
     print(grad_3)