PyTorch中特殊函数梯度的计算

PyTorch中特殊函数梯度的计算

普通函数

对于简单的多元函数,对自变量求梯度很容易,例如:
f ( x , y ) = x 2 + y 2 f(x,y)=x^2+y^2 f(x,y)=x2+y2

则有:
{ ∇ x f ( x , y ) = 2 x ∇ y f ( x , y ) = 2 y \left\{ \begin{aligned} \nabla_xf(x,y)&=2x\\ \nabla_yf(x,y)&=2y \end{aligned} \right . {∇xf(x,y)∇yf(x,y)=2x=2y

python 复制代码
import torch
x = torch.tensor([1, 1, 1.0], requires_grad=True)
y = torch.tensor([2, 2, 2.0], requires_grad=True)
z = torch.pow(x, 2) + torch.pow(y, 2)
z.sum().backward()
x.grad, y.grad
python 复制代码
(tensor([2., 2., 2.]), tensor([4., 4., 4.]))

特殊函数

1. Max函数

一般是求几个输入元素的最大值,如何计算梯度呢?
f ( x 0 , x 1 , ... , x n ) = max ⁡ ( x 0 , x 1 , ... , x n ) f(x_0,x_1,\ldots,x_n)=\max(x_0,x_1,\ldots,x_n) f(x0,x1,...,xn)=max(x0,x1,...,xn)

  1. 在数值上求出最大值 a a a

  2. 对函数进行变换
    f ( x 0 , x 1 , ... , x n , a ) = max ⁡ ( x 0 , x 1 , ... , x n , a ) = { a i f x < a x i f x = a f(x_0,x_1,\ldots,x_n,a)=\max(x_0,x_1,\ldots,x_n,a)= \left\{ \begin{aligned} a\quad if\ x<a\\ x\quad if\ x=a \end{aligned} \right. f(x0,x1,...,xn,a)=max(x0,x1,...,xn,a)={aif x<axif x=a

  3. 变换后就可以求梯度了
    ∇ x f ( x , a ) = { 0 i f x < a 1 i f x = a \nabla_x f(x,a)= \left\{ \begin{aligned} 0\quad if\ x<a\\ 1\quad if\ x=a \end{aligned} \right . ∇xf(x,a)={0if x<a1if x=a

在PyTorch中,如果存在多个相等的最大值,那么它们均分"1":

python 复制代码
import torch

x = torch.tensor([1, 2, 3, 4, 4, 0.], requires_grad=True)
y = torch.max(x)
y.backward()
x.grad
python 复制代码
tensor([0.0000, 0.0000, 0.0000, 0.5000, 0.5000, 0.0000])
2. Clip函数

在数据落在一定范围外时,与输入无关
f ( x ) = { x i f a < x < b a i f x < a b i f x > b f(x)= \left\{ \begin{aligned} &x\quad if\ a<x<b\\ &a\quad if\ x<a\\ &b\quad if\ x>b \end{aligned} \right. f(x)=⎩ ⎨ ⎧xif a<x<baif x<abif x>b

python 复制代码
import torch

x = torch.tensor([1, 2, 3, 4, 5, 6, 7.0], requires_grad=True)
y = torch.clip(x, 1.5, 5.5)
y.sum().backward()
x.grad
python 复制代码
tensor([0., 1., 1., 1., 1., 0., 0.])
相关推荐
一百天成为python专家13 小时前
python爬虫之selenium库进阶(小白五分钟从入门到精通)
开发语言·数据库·pytorch·爬虫·python·深度学习·selenium
q_q王13 小时前
linux安装gitlab详细教程,本地管理源代码
git·python·gitlab·代码
大模型真好玩13 小时前
大模型工程面试经典(三)—如何通过微调提升Agent性能?
人工智能·面试·agent
zzywxc78713 小时前
苹果WWDC25开发秘鉴:AI、空间计算与Swift 6的融合之道
java·人工智能·python·spring cloud·dubbo·swift·空间计算
优思学苑14 小时前
优思学院|质量工作会被AI代替吗?
人工智能
小白学大数据14 小时前
模拟登录与Cookie持久化:爬取中国汽车网用户专属榜单数据
开发语言·爬虫·python
Francek Chen14 小时前
【DeepSeek】蓝耘元生代 | 蓝耘MaaS平台与DeepSeek-V3.1重构智能应用开发
人工智能·深度学习·自然语言处理·maas·deepseek·蓝耘元生代
界面开发小八哥15 小时前
DevExpress WinForms中文教程:Data Grid - 过滤编辑器
人工智能·ui·.net·devexpress·用户界面·winforms
Christo316 小时前
TFS-1996《The Possibilistic C-Means Algorithm: Insights and Recommendations》
人工智能·算法·机器学习
蒋星熠18 小时前
Spring Boot 3.x 微服务架构实战指南
人工智能·spring boot·微服务·性能优化·架构·云计算·量子计算