工业无死角视觉方案:RV1126B平台AVS全景拼接+目标检测

方案概述

AVS(Any View Stitching)全景拼接技术:可以将多路摄像头画面融合拼接为单幅完整图像,从而实现获取更大视野的需求,实现无死角的视频拍摄。

全景拼接核心原理:

将全景相机看作一个单位球,将每个镜头拍摄的图像通过成像模型投影到球面上,对多幅图像重叠区域做像素融合,得到一幅完整的球面图像。最后将球面图像上的3D坐标点投影到2D图像上,获取平面图像。

RV1126B芯片内置专用的硬件拼接模块,依靠硬件完成图像融合,大幅降低CPU与内存资源占用,适配低功耗边缘视觉场景。

AVS全景拼接效果高度依赖相机标定流程,标定分为两类:

1.内参标定:校准镜头焦距、光学中心、畸变系数;

2.外参标定:校准多台相机之间相对安装位置。

本文基于OK1126B-S开发板+TP2815 4路模拟转MIPI模块,搭建4路AHD摄像头,360°全景拼接完整方案,文末附实景拼接效果演示。

软硬件配套清单

硬件配置:

  • OK1126B-S开发板一套
  • TP2815 4路模拟转MIPI CSI模块一个
  • LT9211 MIPI转LVDS模块
  • 4个AHD摄像头
  • 电源、数据线等配件

软件配置:

  • 操作系统:Linux 6.1
  • 依赖组件:Rockit多媒体框架

硬件接线步骤

1.摄像头装配与接线:

将4路AHD摄像头按照标定结构固定安装,信号线按顺序接入TP2815模块;摄像头统一使用12V供电。

2.TP2815模块与开发板连接:

TP2815模块通过Type-C接口接入5V电源;采用异向FPC排线连接模块MIPI CSI通道与OK1126B-S开发板P9接口,硬件引脚定义可参考原理图。

3.开发板外设接线:

OK1126B-S开发板接入5V主电源;Type-C线缆连接电脑,用于串口调试与系统烧录;开发板经过LT9211 MIPI转LVDS模块连接10.1寸LVDS屏。

镜像烧录

烧写支持Rockit和AVS的系统镜像。这里略过具体的修改方法,如有需要请联系飞凌嵌入式获取相关补丁。

全景拼接功能测试流程

步骤1:程序文件部署:

将编译完成的可执行程序main_test、AVS的Json配置文件、RK标定、AI库和模型文件统一放置到开发板/root下。

步骤 2:启动全景拼接程序:

进入/root目录,执行程序启动命令:

./main_test

程序正常运行后,控制台会打印通道创建相关日志,示例输出如下:

22:46:30-306{4_ch_node_create:367}VPSs1,0 sharebuffer should config staxsize0,0, outputsize1280,720maybe not correct
22:46:38-308{v4_ch_node_create:367}VPSs2,0share buffer should config staxsize0,0, outputsize1280,720maybe not correct
22:46:38-310{4_ch_node_create:367}VPSs3,0sharebuffer should config staxsize0,0, outputsize1280,720maybe not correct

此时即可在LVDS屏幕上看到4路摄像头拼接后的360°全景画面,并且能够实现目标检测

以上就是基于飞凌嵌入式OK1126B-S开发板搭建4路AHD摄像头360°全景拼接方案的完整介绍,想了解更多关于RV1126系列开发板相关内容,欢迎前来咨询。

相关推荐
吴佳浩1 小时前
我把 HAMi 摆回一台双卡机器上跑了一遍:GPU 编排的性能账,到底记在谁头上
人工智能·gpu
forest_095 小时前
《AI 编程 Harness 实战手册》04|审批这道门:点了一百次“允许”,还剩多少作用?
人工智能·算法·prompt·agi
火山引擎开发者社区6 小时前
当 RPA 遇上 Agent:MUA 混合执行 Workflow 深度拆解
人工智能
严肃小白兔6 小时前
第 10/24 期:深度神经网络的自动求导机制与梯度验证
人工智能·神经网络·dnn
火山引擎开发者社区6 小时前
定档12.16-12.18!FORCE原动力大会上海见!
人工智能
努力的MM1236 小时前
CAIE 二级和阿里云大模型 ACP 怎么选?企业 AI 工程与云平台开发能力对比
人工智能
老金带你玩AI6 小时前
Kling Image 4.0来了!8K和组图直出,电商人的提效神器?
人工智能
孟健7 小时前
用 unslop 拯救 AI 生成网页的塑料感,7 分钟重构落地实测
前端·人工智能·ai编程
stormzhangV7 小时前
Google 重返第一梯队
人工智能·google·aigc