深度学习:光流估计新范式

0.概述

在这篇文章中,我们将讨论两种基于深度学习的光流运动估计方法。FlowNet是第一个用于计算光流的CNN方法,RAFT是当前最先进的估计光流的方法。我们还将看到如何使用作者提供的经过训练的模型来使用PyTorch对新数据进行推断。

1. FlowNet

FlowNet architecture 于2015年推出,是第一个预测光流的CNN方法。作者受到CNN架构在分类、深度估计和语义分割任务中的成功结果的启发。随着深度学习方法和CNN成为解决许多计算机视觉任务的有利策略,作者又引入了两个用于光流估计的神经网络。

1.1 Architecture

FlowNetS和FlowNetCorr架构都包含类似于U-Net架构的编码器和解码器部分。编码器从两个连续的图像中提取特征,而解码器升级编码器特征图并获得最终的光流预测。让我们更深入地了解一下FlowNetS和FlowNetCorr网络。

1.2 FlowNetS encoder

流网络(也称为FlowNetSimple)中的输入数据是两个连续帧的串联。这两幅图像被放置到6通道张量中,其中前三个通道属于第一幅图像,其余三个通道属于第二幅图像。编码器部分由几个卷积层组成,后面是激活函数。这种架构允许网络自己决定如何处理两个堆叠的图像,并为以下结果细化提供特征图。

2.

相关推荐
旧故新长4 分钟前
支持Function Call的本地ollama模型对比评测-》开发代理agent
人工智能·深度学习·机器学习
微学AI16 分钟前
融合注意力机制和BiGRU的电力领域发电量预测项目研究,并给出相关代码
人工智能·深度学习·自然语言处理·注意力机制·bigru
知来者逆28 分钟前
计算机视觉——速度与精度的完美结合的实时目标检测算法RF-DETR详解
图像处理·人工智能·深度学习·算法·目标检测·计算机视觉·rf-detr
一勺汤31 分钟前
YOLOv11改进-双Backbone架构:利用双backbone提高yolo11目标检测的精度
人工智能·yolo·双backbone·double backbone·yolo11 backbone·yolo 双backbone
武汉唯众智创33 分钟前
高职人工智能技术应用专业(计算机视觉方向)实训室解决方案
人工智能·计算机视觉·人工智能实训室·计算机视觉实训室·人工智能计算机视觉实训室
Johny_Zhao44 分钟前
MySQL 高可用集群搭建部署
linux·人工智能·mysql·信息安全·云计算·shell·yum源·系统运维·itsm
一只可爱的小猴子1 小时前
2022李宏毅老师机器学习课程笔记
人工智能·笔记·机器学习
地瓜机器人1 小时前
乐聚机器人与地瓜机器人达成战略合作,联合发布Aelos Embodied具身智能
人工智能·机器人
带娃的IT创业者1 小时前
《AI大模型趣味实战》基于RAG向量数据库的知识库AI问答助手设计与实现
数据库·人工智能
__Benco1 小时前
OpenHarmony - 小型系统内核(LiteOS-A)(十),魔法键使用方法,用户态异常信息说明
人工智能·harmonyos