基于常微分方程的神经网络(Neural ODE)

一、什么是常微分方程(ODE)

微分方程是包含未知函数及其导数的方程,未知函数导数的最高阶数称为该微分方程的阶

常微分方程(ordinary differential equation,简称ODE)是未知函数只含有一个自变量的微分方程

如:

二、Neural ODE与普通神经网络的区别

三、用ODE表示有什么优势

1.Powerful representation:微分方程可以用数值法求解,因此对于任何连续函数都有良好的逼近能力。

2.Memory efficiency:不需要用到反向传播,因此训练上节约内存

3.Simplicity:不需要考虑复杂的调参和网络设计,形式简洁

4.Abstraction:让网络不需要考虑每层需要做什么,只需要考虑怎么计算结果

四、求解微分方程

Neural ODE解的是带初始值的常微分方程

如果给定初识条件(0,1),则

这种解法微分方程满足一定的形式,但实际生活当中原函数比较复杂,通常会使用数值法求解原函数在各个点的值

比较出名的两个方法:① 欧拉法(Euler Method) ② 龙格库塔法 (Runge-Kutta)

欧拉法:

在给定初始条件和f的情况下,利用欧拉法可以推导出任意时刻的函数值

相关推荐
轻舟技术A1 小时前
Pi、rpi、Pi-Bolt 重测:rpi 在启动、内存与读取上全面领先
人工智能·rust
小豆庄1 小时前
AI换脸能骗过检测,视频脱敏为什么该回到本地
人工智能·yolo·阿里云·ai·ocr·视频
美狐美颜sdk1 小时前
视频美颜SDK从Demo到正式商用,还需要完成哪些准备工作?
人工智能·音视频·美颜sdk·视频美颜sdk·美颜api
hflmwl81 小时前
Wise ImageX AI 驱动的图像编辑和增强工具
人工智能·wise imagex·ai 驱动的图像编辑和增强工具
zhongben123_1 小时前
从0到1开发一款生鲜配送APP:核心技术难点与架构避坑指南
大数据·运维·人工智能·ios·架构·web app
揽秀亭长1 小时前
论文降AI率工具选型与验收:6款工具对接版本、实测数据与排查表
人工智能
Profile排查笔记1 小时前
有哪些开源指纹浏览器项目?先核对客户端、内核与许可证
前端·人工智能·后端·自动化
AI浩1 小时前
BEVNeXt:复兴用于3D目标检测的稠密BEV框架
人工智能·目标检测·3d
镭封1 小时前
AI文字转语音能制作多人对白吗?角色分配操作指南
人工智能·小程序·音视频·语音识别·媒体