工业无死角视觉方案:RV1126B平台AVS全景拼接+目标检测

方案概述

AVS(Any View Stitching)全景拼接技术:可以将多路摄像头画面融合拼接为单幅完整图像,从而实现获取更大视野的需求,实现无死角的视频拍摄。

全景拼接核心原理:

将全景相机看作一个单位球,将每个镜头拍摄的图像通过成像模型投影到球面上,对多幅图像重叠区域做像素融合,得到一幅完整的球面图像。最后将球面图像上的3D坐标点投影到2D图像上,获取平面图像。

RV1126B芯片内置专用的硬件拼接模块,依靠硬件完成图像融合,大幅降低CPU与内存资源占用,适配低功耗边缘视觉场景。

AVS全景拼接效果高度依赖相机标定流程,标定分为两类:

1.内参标定:校准镜头焦距、光学中心、畸变系数;

2.外参标定:校准多台相机之间相对安装位置。

本文基于OK1126B-S开发板+TP2815 4路模拟转MIPI模块,搭建4路AHD摄像头,360°全景拼接完整方案,文末附实景拼接效果演示。

软硬件配套清单

硬件配置:

  • OK1126B-S开发板一套
  • TP2815 4路模拟转MIPI CSI模块一个
  • LT9211 MIPI转LVDS模块
  • 4个AHD摄像头
  • 电源、数据线等配件

软件配置:

  • 操作系统:Linux 6.1
  • 依赖组件:Rockit多媒体框架

硬件接线步骤

1.摄像头装配与接线:

将4路AHD摄像头按照标定结构固定安装,信号线按顺序接入TP2815模块;摄像头统一使用12V供电。

2.TP2815模块与开发板连接:

TP2815模块通过Type-C接口接入5V电源;采用异向FPC排线连接模块MIPI CSI通道与OK1126B-S开发板P9接口,硬件引脚定义可参考原理图。

3.开发板外设接线:

OK1126B-S开发板接入5V主电源;Type-C线缆连接电脑,用于串口调试与系统烧录;开发板经过LT9211 MIPI转LVDS模块连接10.1寸LVDS屏。

镜像烧录

烧写支持Rockit和AVS的系统镜像。这里略过具体的修改方法,如有需要请联系飞凌嵌入式获取相关补丁。

全景拼接功能测试流程

步骤1:程序文件部署:

将编译完成的可执行程序main_test、AVS的Json配置文件、RK标定、AI库和模型文件统一放置到开发板/root下。

步骤 2:启动全景拼接程序:

进入/root目录,执行程序启动命令:

./main_test

程序正常运行后,控制台会打印通道创建相关日志,示例输出如下:

22:46:30-306{4_ch_node_create:367}VPSs1,0 sharebuffer should config staxsize0,0, outputsize1280,720maybe not correct
22:46:38-308{v4_ch_node_create:367}VPSs2,0share buffer should config staxsize0,0, outputsize1280,720maybe not correct
22:46:38-310{4_ch_node_create:367}VPSs3,0sharebuffer should config staxsize0,0, outputsize1280,720maybe not correct

此时即可在LVDS屏幕上看到4路摄像头拼接后的360°全景画面,并且能够实现目标检测

以上就是基于飞凌嵌入式OK1126B-S开发板搭建4路AHD摄像头360°全景拼接方案的完整介绍,想了解更多关于RV1126系列开发板相关内容,欢迎前来咨询。

相关推荐
小和尚同志3 小时前
1.8k star 的开源 token 使用量监控神器— TokenTracker
人工智能·ai编程
极客 - L U4 小时前
神经网络 - 激活函数、损失函数、优化器
人工智能·深度学习·神经网络
数字融合4 小时前
透明化视频三维矿山井下照明重建技术
人工智能·python·数码相机
yi0114 小时前
LeetCode 219:存在重复元素 II——哈希表记录“最近一次出现的位置”
数据结构·人工智能·笔记·python·算法·leetcode·哈希表
xiangzhihong84 小时前
创之星花店多端业务闭环拆解
人工智能
奈落245 小时前
AI 编程从助手到 Agent:基于两份资料看哪些环节可以交出去,哪些必须自己攥住
大数据·人工智能
Joker可视化开发平台5 小时前
AI短剧接棒真人剧:开机量跌七成,普通人进场窗口在收窄
大数据·人工智能
澳鹏Appen5 小时前
澳鹏电子书 | 强化学习环境:为AI智能体打造高保真训练场
人工智能
吴佳浩5 小时前
单卡5090跑125B 大模型:Strata 把服务器级 MoE 拉进普通 PC
人工智能
Data-Miner5 小时前
AI做表格软件哪个好?专业评测:五维对比看清差距
人工智能