基于常微分方程的神经网络(Neural ODE)

一、什么是常微分方程(ODE)

微分方程是包含未知函数及其导数的方程,未知函数导数的最高阶数称为该微分方程的阶

常微分方程(ordinary differential equation,简称ODE)是未知函数只含有一个自变量的微分方程

如:

二、Neural ODE与普通神经网络的区别

三、用ODE表示有什么优势

1.Powerful representation:微分方程可以用数值法求解,因此对于任何连续函数都有良好的逼近能力。

2.Memory efficiency:不需要用到反向传播,因此训练上节约内存

3.Simplicity:不需要考虑复杂的调参和网络设计,形式简洁

4.Abstraction:让网络不需要考虑每层需要做什么,只需要考虑怎么计算结果

四、求解微分方程

Neural ODE解的是带初始值的常微分方程

如果给定初识条件(0,1),则

这种解法微分方程满足一定的形式,但实际生活当中原函数比较复杂,通常会使用数值法求解原函数在各个点的值

比较出名的两个方法:① 欧拉法(Euler Method) ② 龙格库塔法 (Runge-Kutta)

欧拉法:

在给定初始条件和f的情况下,利用欧拉法可以推导出任意时刻的函数值

相关推荐
程xu袁3 分钟前
AI写歌词和AI作曲有什么区别?想做完整歌曲,AI音乐工具怎么选?
人工智能
ForDreamMusk4 分钟前
BPTT
深度学习
ACME20446 分钟前
破产财产处置新规落地,管理人如何选聘拍卖机构?
人工智能
AI让世界更懂你9 分钟前
计算机专业研究生核心能力培养(6)——论文写作的表达与打磨
人工智能
风之清扬11 分钟前
Agent学习之四-初识Agent CLI
人工智能·科技·学习
零依赖极客18 分钟前
Day 9·1 KV 也量化——q8 KV 把缓存与 decode 带宽压到一半
c语言·开发语言·arm开发·人工智能·缓存·矩阵
陈童学哦19 分钟前
AI术语大全
人工智能
tuanxiang20 分钟前
用去AI味工具调整大模型生成的技术文档,我踩了检测阈值的坑
人工智能
天辛大师23 分钟前
天辛大师谈AI时代的沉思录,All in AI 持续做事与放大效应
大数据·人工智能·随机森林·重构·启发式算法
不要生病了25 分钟前
Brain-JEPA:用功能梯度定位与时空遮蔽预训练 fMRI 基础模型
人工智能·深度学习