基于常微分方程的神经网络(Neural ODE)

一、什么是常微分方程(ODE)

微分方程是包含未知函数及其导数的方程,未知函数导数的最高阶数称为该微分方程的阶

常微分方程(ordinary differential equation,简称ODE)是未知函数只含有一个自变量的微分方程

如:

二、Neural ODE与普通神经网络的区别

三、用ODE表示有什么优势

1.Powerful representation:微分方程可以用数值法求解,因此对于任何连续函数都有良好的逼近能力。

2.Memory efficiency:不需要用到反向传播,因此训练上节约内存

3.Simplicity:不需要考虑复杂的调参和网络设计,形式简洁

4.Abstraction:让网络不需要考虑每层需要做什么,只需要考虑怎么计算结果

四、求解微分方程

Neural ODE解的是带初始值的常微分方程

如果给定初识条件(0,1),则

这种解法微分方程满足一定的形式,但实际生活当中原函数比较复杂,通常会使用数值法求解原函数在各个点的值

比较出名的两个方法:① 欧拉法(Euler Method) ② 龙格库塔法 (Runge-Kutta)

欧拉法:

在给定初始条件和f的情况下,利用欧拉法可以推导出任意时刻的函数值

相关推荐
CRMEB系统商城1 分钟前
服装连锁的导购分销与企微私域
java·大数据·开发语言·人工智能·小程序·php·1024程序员节
拓恒技术2 分钟前
城市管理中的无人机AI识别算法:架构、场景与落地
人工智能·算法·视觉检测·无人机·1024程序员节
weixin_468466857 分钟前
让机器像视网膜一样“看”:事件相机与脉冲神经网络如何重构视觉感知
人工智能·神经网络·ai·机器视觉·1024程序员节
紧跟先前的步伐8 分钟前
Go AI Agent 实战 15|context.Context、超时与取消机制
人工智能·安全·ai·golang·1024程序员节
kingx39 分钟前
BugKu 渗透测试4 Writeup:从 eval 注入到五层内网拿满 Flag
人工智能·网络安全·网络攻击模型·安全威胁分析·1024程序员节
Jsundoku10 分钟前
第七章 深度学习 -- Transformer 架构
人工智能·深度学习·transformer·1024程序员节
FriendshipT12 分钟前
Vim 完整指南:从入门到高效编辑
linux·人工智能·编辑器·vim·1024程序员节
有Li16 分钟前
主动脉瘤的最佳风险重新分类:断层增强CT与二维经胸超声心动图对比研究文献速递/医学影像的几何测量
大数据·人工智能·深度学习·机器学习·医学生
猛码象限16 分钟前
【模型观察】K3.1 Pro 后训练加码,自评完成度 65.7%
人工智能·业界资讯·1024程序员节