Nvidia VPI 双目相机生成深度图

nVidia VPI(Vision Programming Interface)提供了多种后端,用于执行图像处理和计算机视觉操作。不同的后端针对不同的硬件和用例进行了优化。这些后端包括:

  1. CPU: 这是最通用的后端,它运行在标准的中央处理器(CPU)上。优点是可以在任何支持的设备上运行,但相比于专用硬件,其性能可能较低。

  2. CUDA: 这个后端利用了NVIDIA的CUDA技术,运行在NVIDIA的图形处理器(GPU)上。它可以提供比CPU更高的性能,特别是对于并行计算密集型的任务。

  3. PVA (Programmable Vision Accelerator): PVA是专门为视觉处理设计的硬件加速器。它在某些NVIDIA的SoC(System on Chip)上可用,如Jetson平台。PVA提供高效的图像处理和计算机视觉操作,但是它的可用性有限于特定的硬件。

  4. OFA (Optical Flow Accelerator): OFA专门用于计算光流,这是计算机视觉中的一项常见任务,用于估计图像序列中物体的运动。OFA提供了高效的光流计算,但其应用范围相对专一。

  5. OFA-PVA-VIC: 这可能是一个组合后端,结合了OFA、PVA以及VIC(Video Image Compositor)的功能,用于提供更全面的图像处理和视频处理能力。这种组合可以优化特定的工作流程,但可能需要特定的硬件支持。

  6. PVA-NVENC-VIC: 类似于OFA-PVA-VIC,这是另一种组合后端,结合了PVA、NVENC(NVIDIA的视频编码器)和VIC。这种组合专门用于视频处理应用,例如视频编码和编辑。

每个后端的优劣势取决于特定的应用需求、硬件可用性和性能要求。在选择合适的后端时,需要考虑这些因素以及开发和部署环境。例如,对于需要高性能图像处理但不具备特定NVIDIA硬件的场景,CUDA可能是一个好的选择;而对于嵌入式系统或专门的计算机视觉应用,PVA或OFA可能更合适。

使用Nvidia Jetson Orin NX 测试,测试代码如下

VPI - Vision Programming Interface: Stereo Disparity (nvidia.com)

后端 深度图 置信度图 FPS CPU/GPU
原图
cpu 0.64 270% / 32%
cuda 23 34.6% / 92%
pva 24 35.7% / 32%
ofa 27 41.8% / 30%
ofa-pva-vic 16.7 36% / 50%
pva-nvenc-vic Jetson不支持 Jetson不支持
相关推荐
恒锐丰小瑞19 小时前
率能SS6810H 32V/1A/双通道H桥驱动芯片,PWM电流控制与混合衰减模式,用于POS打印机/安防相机/机器人
嵌入式硬件·数码相机·机器人·硬件工程
恒锐丰小瑞21 小时前
率能SS6812T 40V/1A/双通道H桥驱动芯片,PWM电流控制与混合衰减模式(eTSSOP28),用于POS打印机/安防相机/机器人
单片机·嵌入式硬件·数码相机·机器人
格林威1 天前
C#图像像素放大:邻域平均、双线性插值实现像素放大的C#实现代码
开发语言·人工智能·数码相机·计算机视觉·c#·视觉检测·工业相机
AI的探索之旅1 天前
图像格式与转换一文讲透:相机 / OpenCV / Qt
数码相机·qt·opencv
恒锐丰小瑞1 天前
率能SS6811H 38V/1.6A/双通道H桥驱动芯片,PWM控制接口与低功耗睡眠模式,用于舞台灯光/安防相机/机器人
单片机·嵌入式硬件·数码相机·机器人
赵药师1 天前
RGBD相机测尺寸Python以及原理详解
数码相机
阿瑞斯官方账号2 天前
多台 CIS 拼接检测现场售后实录:条纹、暗带、拼接错位怎么处理
数码相机·计算机视觉·视觉检测
电化学仪器白超2 天前
MV-CS200-10UC相机参数配置
python·单片机·嵌入式硬件·数码相机·自动化·ltspice
weixin_Todd_Wong20103 天前
海思 3516CV610 双目 IMU 可穿戴数采相机落地方案
数码相机
钒星物联网3 天前
自组网+Ku宽带卫星图传,为野保监测搭建空天地一体化高速通道
数码相机·物联网·卫星通信·红外相机·自组网·野外监测