深度学习:光流估计新范式

0.概述

在这篇文章中,我们将讨论两种基于深度学习的光流运动估计方法。FlowNet是第一个用于计算光流的CNN方法,RAFT是当前最先进的估计光流的方法。我们还将看到如何使用作者提供的经过训练的模型来使用PyTorch对新数据进行推断。

1. FlowNet

FlowNet architecture 于2015年推出,是第一个预测光流的CNN方法。作者受到CNN架构在分类、深度估计和语义分割任务中的成功结果的启发。随着深度学习方法和CNN成为解决许多计算机视觉任务的有利策略,作者又引入了两个用于光流估计的神经网络。

1.1 Architecture

FlowNetS和FlowNetCorr架构都包含类似于U-Net架构的编码器和解码器部分。编码器从两个连续的图像中提取特征,而解码器升级编码器特征图并获得最终的光流预测。让我们更深入地了解一下FlowNetS和FlowNetCorr网络。

1.2 FlowNetS encoder

流网络(也称为FlowNetSimple)中的输入数据是两个连续帧的串联。这两幅图像被放置到6通道张量中,其中前三个通道属于第一幅图像,其余三个通道属于第二幅图像。编码器部分由几个卷积层组成,后面是激活函数。这种架构允许网络自己决定如何处理两个堆叠的图像,并为以下结果细化提供特征图。

2.

相关推荐
修复bug18 分钟前
trae.ai 编辑器:前端开发者的智能效率革命
人工智能·编辑器·aigc
掘金安东尼21 分钟前
为什么GPT-4o可以生成吉卜力风格照片,原理是什么?
人工智能
机器鱼37 分钟前
1.2 基于卷积神经网络与SE注意力的轴承故障诊断
深度学习·机器学习·cnn
励志成为大佬的小杨40 分钟前
pytorch模型的进阶训练和性能优化
人工智能·pytorch·python
知舟不叙1 小时前
OpenCV的基础操作
人工智能·opencv·计算机视觉
果冻人工智能1 小时前
打造 AI Agent 对于中产阶级来说就是场噩梦
人工智能
MediaTea1 小时前
AI 文生图:提示词撰写技巧与示例(ChatGPT-4o 篇)
人工智能
墨绿色的摆渡人1 小时前
用 pytorch 从零开始创建大语言模型(三):编码注意力机制
人工智能·pytorch·语言模型
zm-v-159304339862 小时前
ChatGPT 与 DeepSeek:学术科研的智能 “双引擎”
人工智能·chatgpt