图漾AGV行业常用相机使用文档

文章目录

1.图漾相机设置IP

1.1 前期准备

1.一根超五类及其以上规格网线(cat5e、cat6...)

2.PercipioViewer2.6.1软件
小技巧1:

图漾相机出厂默认是自动IP,相机上电后,建议先将电脑上网络适配器改为自动获取IP后,通过PeripioViewe2.6.1软件连接一下相机,之后再将电脑上网络适配器改为静态IP后,再将相机设置为静态IP。

小技巧2:

建议使用最新版本PercipioViewer 2.6.1,在更改电脑主机网络适配器IP后,PercipioViewer2.6.1软件会自动更改默认网关和子网掩码。

将网线一端连接相机设备或者AGV小车控制器调试接口,另外一端与电脑直连,确定电脑网段操作如下:

详细IP操作可查看如下链接:

相机更改IP操作

2.FM851-E2相机

2.1 FM851-E2适用场景

适用材质 :木质、普通蓝色塑料,金属托盘,带反光柱等场景。

特点 :波段830nm,抗光性较弱,不建议在有阳光斜射的场景使用,且建议托盘上边沿壁厚超过20mm,否则上边沿容易出现点云断裂现象。

不适用材质 :黑色等低反射率材质托盘。

不适用的现场环境:有阳光斜射、顶部有天窗或者黑暗环境下使用(如果使用深度学习+3D模版匹配,RGB亮度不够,造成识别率偏低)。

2.2 FM851-E2 IO线和数据线定义


触发结构外观

2.2.1 IO接口定义


触发结构线序

2.2.2 数据接口线

建议使用千兆以太网,如果相机在动态场景中使用,建议使用高柔以太网线。

2.2.3 相机正面安装方向

FM851-E2相机的安装方向,有以下方式判断:

观察散斑投射器位置


相机散热面和黄色标签朝上

2.2.4 相机IO指示灯

FM851-E2和FM855-E2-7相机状态指示灯如下图所示:

2.3 FM851-E2/FM855-E2-7相机RGB颜色异常

在实际应用场景中,FM851-E2相机由于RGB相机本身,没有硬ISP功能,常常会出现R/G/B三通道增益值设置的不合理,造成采集的图片成像异常。

1.碰到这种情况,首先要降低RGB的AnalogGain值,其次降低曝光值

2.同时建议把RGB三通道数值或者AutoISP功能。

【解决措施1】:

cpp 复制代码
第一种:大概按照3:2:3的一个比例去设置R/G/B三通道的数值
	//获取RGB支持的属性
	bool hasRGB_ANALOG_GAIN, hasRGB_R_GAIN, hasRGB_G_GAIN, hasRGB_B_GAIN, hasRGB_EXPOSURE_TIME;
	ASSERT_OK(TYHasFeature(hDevice, TY_COMPONENT_RGB_CAM, TY_INT_ANALOG_GAIN, &hasRGB_ANALOG_GAIN));	
	ASSERT_OK(TYHasFeature(hDevice, TY_COMPONENT_RGB_CAM, TY_INT_R_GAIN, &hasRGB_R_GAIN));
	ASSERT_OK(TYHasFeature(hDevice, TY_COMPONENT_RGB_CAM, TY_INT_G_GAIN, &hasRGB_G_GAIN));
	ASSERT_OK(TYHasFeature(hDevice, TY_COMPONENT_RGB_CAM, TY_INT_B_GAIN, &hasRGB_B_GAIN));
	ASSERT_OK(TYHasFeature(hDevice, TY_COMPONENT_RGB_CAM, TY_INT_EXPOSURE_TIME, &hasRGB_EXPOSURE_TIME));

	if (hasRGB_ANALOG_GAIN)
	{
		ASSERT_OK(TYSetInt(hDevice, TY_COMPONENT_RGB_CAM, TY_INT_ANALOG_GAIN, 1));//设置RGB模拟增益[0,3]
	}
	if (hasRGB_R_GAIN)
	{
		ASSERT_OK(TYSetInt(hDevice, TY_COMPONENT_RGB_CAM, TY_INT_R_GAIN, 32));//设置RGB数字增益R通道[0,255]
	}
	if (hasRGB_G_GAIN)
	{
		ASSERT_OK(TYSetInt(hDevice, TY_COMPONENT_RGB_CAM, TY_INT_G_GAIN, 20));//设置RGB数字增益G通道[0,255]
	}

	if (hasRGB_B_GAIN)
	{
		ASSERT_OK(TYSetInt(hDevice, TY_COMPONENT_RGB_CAM, TY_INT_B_GAIN, 32));//设置RGB数字增益B通道[0,255]
	}
	
	if (hasRGB_EXPOSURE_TIME)
	{
		ASSERT_OK(TYSetInt(hDevice, TY_COMPONENT_RGB_CAM, TY_INT_EXPOSURE_TIME, 200));//设置RGB曝光时间【3,1088】
	}

【解决措施2】:

程序里设置AutonISP功能,具体操作如下:

1.首先初始化

cpp 复制代码
 TY_ISP_HANDLE hColorIspHandle = NULL;

2.在调用RGB组件时,调用软ISP功能

cpp 复制代码
    ///try to enable color camera
    if(allComps & TY_COMPONENT_RGB_CAM  && color)
    {
        LOGD("Has RGB camera, open RGB cam");
        ASSERT_OK( TYEnableComponents(hDevice, TY_COMPONENT_RGB_CAM) );
        //create a isp handle to convert raw image(color bayer format) to rgb image
        ASSERT_OK(TYISPCreate(&hColorIspHandle));
        //Init code can be modified in common.hpp
        //NOTE: Should set RGB image format & size before init ISP
        ASSERT_OK(ColorIspInitSetting(hColorIspHandle, hDevice));
        //You can  call follow function to show  color isp supported features
#if 0
        ColorIspShowSupportedFeatures(hColorIspHandle);
#endif
        //You can turn on auto exposure function as follow ,but frame rate may reduce .
        //Device may be casually stucked  1~2 seconds while software is trying to adjust device exposure time value
#if 0
        ASSERT_OK(ColorIspInitAutoExposure(hColorIspHandle, hDevice));
#endif
    }

3.最后在关闭相机取流时,释放接口

cpp 复制代码
 ASSERT_OK( TYStopCapture(hDevice) );
 ASSERT_OK( TYCloseDevice(hDevice));
 ASSERT_OK( TYCloseInterface(hIface) );
 ASSERT_OK(TYISPRelease(&hColorIspHandle));
 ASSERT_OK( TYDeinitLib() );

2.4 FM851-E2相机成像质量差

【问题描述】:

相机在拍摄下面金属托盘时,点云缺失严重,无法通过调整参数,形成较好的图像。

【排查过程】:

1.首先排查现场环境:

是否有侧窗或者顶部有阳光斜射,如FM851-E2相机,由于激光波段是830nm的,在有环境光干扰的工作环境下,信噪比不够,造成成像欠佳。

解决措施 】:

1.前期方案评估时,尽量考虑到现场环境对相机的影响

2.如果相机已经在现场使用,先适当降低相机IR的AnalogGain参数和Gain参数,查看成像是否会好一些,如仍无法解决,考虑用FM855-E2-7平替。

2.现场材质因素:

1. 确认现场材质是否有黑色托盘等低反射率材质,此时调整相机参数,在2m以外,很难拿到比较好的成像;

2. 而如果是高反金属,此时需要适当降低激光亮度降低曝光、增益和模拟增益。

解决措施 】:

黑色托盘属于低反材质,FM851-E2无法胜任此场景,建议切换成FM854-E1FM855-E1,如现场结构和线缆不允许更换,建议使用FM855-E2-7相机。

3.相机参数设置不合理:

如果需要查看散斑相机的IR图,首先需要关闭light Source里面的auto ctrl属性,之后再打开左右相机IR图查看散斑信息,是否过曝,过亮,详细操作如下图:

注意 :跟深度图相关的有IR Gain、IR AnalogGain和IR ExposureTime这三个参数可调,建议调节顺序为IR ExposureTime->IR AnalogGain->IR Gain

IR AnalogGain属性是对相机模拟信号进行放大,不建议设置过大,过大图像容易产生噪点。

解决措施 】:

1.如调试参数不能得到一张比较好的深度图,建议联系图漾技术。

4.相机标定失效

由于运输过程或者其他因素,造成相机碰撞,或者相机散热未做好,导致相机散斑图出现模糊,从而使深度图成像较差,具体有以下两种方式去排查

方法一 :按照如下图所示操作,查看相机左右IR,同一个亮点,是否在同一水平线上。

方法二 :按照方法一的操作,可查看IR散斑是否有粘连或者模糊的情况,具体如下图:

相机左IR ![在这里插入图片描述](https://i-blog.csdnimg.cn/direct/69f3c5831d32483d9ce5ae94284f5f29.png#pic_center) 相机右IR

左IR图的中心偏右下方比正常的模组要模糊一些。

解决措施 】:

1.遇到此种情况,联系图漾技术确认后,需要返厂维修。

5.相机激光器损坏

需要相机打开取流,之后打开相机,若此处的散斑投射器没有发光,如未发光表示已损坏(可用安卓手机对着相机拍摄,看是否有激光闪烁),若损坏则需要寄回维修,更换激光器。

解决措施 】:

1.遇到此种情况,联系图漾技术确认相机激光器损坏后后,需要返厂维修。

6.工作环境(主要是温度和湿度)

情况1 :如果在冷库或者偏北方的区域使用,有时候出现相机开机时正常,但工作一阵子后,深度图变差,查看此时IR图散斑图,呈模糊状,静止或者拆下来一会后,相机又成像正常;

情况2 :而如果频繁在冷库和室温环境来回切换,相机镜头表面有凝露,擦拭水珠后,成像又恢复正常。

情况3:相机在俄罗斯或者北方区域工作时,工作环境在0度以下,刚开始工作的时候,出现深度图比较差的情况,工作一阵子后,深度图逐渐正常。

解决措施 】:

1.首先需要排除现场环境的干扰,之后排查是否有问题4和5现象。排查后如未发现问题,请联系图漾技术。

7.相机安装高度角度

根据实测数据,叉臂长度在 1.2 米之下时,安装高度在 0.35 米-0.45米左右;叉臂长度大于 1.2 米时,安装高度在在 0.45 米-0.8米左右。以上数据根据经验得出结论,不同的叉车会有差异。

相机与上表面的倾斜角度不建议操作30度,角度较大,容易对相机的立体匹配算法产生影响,同时对图像对齐会有些许影响,进而影响识别率。

解决措施 】:

1.设计安装机构时,角度尽可能可调。

2.在相机工作范围内,如果倾斜角度较小,此时识别率较低,建议适当拉开相机与托盘的拍照距离。

8.相机工作距离偏远或者偏近

1.如在4m外拍摄蓝色托盘,托盘上边沿壁厚在20mm左右,此时托盘上边沿已经处于断裂状态。

2.测试过程中在700mm以内拍摄物体,属于相机工作盲区,无法成像。

3.相机的工作区间是在90%反射率下得出的。如果拍摄黑托盘等低反物体,尽量压缩工作区间。

3.M854-E1相机

3.1 FM854-E1适用场景

适用材质 :木质、普通蓝色塑料和黑色托盘(2m内对黑色托盘成像较好),带反光柱的场景。

特点:波段940nm,抗光性较强,适合室内,半室外等场景。

3.2 FM854-E1 IO线和数据线定义

3.2.1 IO接口定义

3.2.2 数据接口线

相机数据线如下图:

3.2.3 相机正面安装方向

FM854-E1正面方向如下:

3.2.4 相机IO指示灯

FM854-E1相机状态指示灯如下图所示:

相机出现问题后,可先通过相机指示灯判断相机状态,如ETH指示灯不亮,表明相机与控制器链接为百兆网,可以查看网线是否损坏或者两端连接口是否牢固。

4.M855-E1相机

4.1FM855-E1适用场景

适用材质 :复杂场景下的栈板识别,比如室内有阳光斜射,有天窗,高反材质,黑色托盘等等。

特点:波段940nm,抗光性较强。

4.2 FM851-E1 IO线和数据线定义

4.2.1 IO接口定义

FM854-E1相机状态指示灯如下图所示:

触发IO结构外观


IO触发结构线序

4.2.2 数据接口线

FM855-E1相机,网路数据线如下图所示:

如果相机在动态场景中使用,建议使用高柔线,非高柔线容易引发掉线问题。

4.2.3 相机正面安装方向

FM855-E1相机的安装方向,有以下方式判断:

FM855-E1散热面


观察IO和散斑投射器

4.2.4 相机IO指示灯

FM855-E1相机状态指示灯如下图所示:

4.3 FM855-E1 成像问题

4.3.1 黑色托盘成像差

此时需要查看散斑相机的IR图,首先需要关闭light Source里面的auto ctrl属性,之后再打开左右相机IR图查看散斑信息,是否过曝,过亮,详细操作如下图:

建议先将analog gain调整至1至2,之后调整gain至20~32区间,调整完毕后再打开深度图取流,观察深度图成像。

4.3.2 点云噪点多

搭配图漾PercipioViewer2.6.1软件时,FFM855-E1相机自带的SGBM属性会被隐藏,打开SGBM参数如下图:

打开相机SGBM参数

5.TM26X之dTOF避障相机

5.1 TM262/TM265产品介绍

特点 :机身小巧易集成,适用于客流计、立体避障【TM262】和叉尖避障【TM265】等应用。

不适用场景:场景中有发光柱、识别3m外5cm以下黑色低反材质。

5.2 TM262-E1/TM265-E1 IO线和数据线定义

5.2.1 IO接口定义

相机的IO线定义如下:

5.2.2 数据接口线

TM262/TM265相机数据链路连接如下图:

5.2.3 TM262相机正面安装方向

TM262相机正面安装方向如下,黄色标签在上:

5.2.4 TM265相机正面安装方向

TM265相机正面安装方向如下:

5.2.5 相机IO指示灯

TM26X相机的状态指示灯如下图:

如遇到相机状态指示灯不亮,请仔细检查相机硬件连接是否正常,供电是否正常。

5.3 TM26X成像问题

5.3.1多台相机同时使用产生异常点云

TM26X相机拍摄远方物体时,总是有莫名噪点产生,如下图所示:

【解决措施】:

开启相机Depth Stream数据流中的 tof anti-interference功能,开启后实际效果如下图:

5.3.2 倒车过程中,叉尖相机误避障

###【问题描述 】:

TM26X插尖相机,在倒车过程中,偶发出现误避障问题。

###【排查过程 】:

通过保存的点云,观察如下图所示:

###【原因分析 】:

当托盘超出叉臂一部分,同时货物又超出叉臂一部分,叉尖相机只能看到托盘下表面和货物下表面,托盘上下表面有一个倾斜角,相机打出去的激光,打到托盘下表面和货物下表面,有反射的光线打到地面,又再次进入相机,在两者各超托间隙形成类似"拉丝"现象。

实际货物超托示意图

【解决措施】

比如之前设置的600,可适当改为1104/1105,可解决大部分"拉丝"现象。

注意1 :末尾数值越大,近处滤波倍率越大,末尾数值是9,过滤倍率最大,但容易丢失小目标物体。

注意2:使用此功能,需要TM262相机固件在1.2.21以上版本,TM265相机固件在1.0.28版本以上。

6.TM421之iTOF相机

6.1 TM421 工作场景

材质 :木质、蓝色等标准托盘,适合在室内,半室外等工作场景

不适宜场景:相机贴地安装,附近有高反物体(如反光柱),金属料卷等场景,如需要拍摄黑色材质,建议在2m以内,同时联系图漾技术更改相机寄存器配置。

6.2 TM421 IO线和数据线定义

6.2.1 IO接口定义

TM421相机的IO引脚定义如下:

6.2.2 数据接口线

TM421相机数据线如下图:

6.2.3 TM421相机正面安装方向

TM421相机正面安装方向如下:

6.2.4 相机IO指示灯

TM421相机的状态指示灯如下图:

6.3 TM421成像问题

6.3.1 附近有反光柱造成成像异常

如下图实际场景所示,托盘附近有反光柱,造成点云异常。

而实际成像点云图异常,如下图所示:

###【原因解释 】:

打开相机IR Stram数据流,会发现反光柱附近周边像素都很亮,造成光污染,从而引起反光柱附近的点云异常。

###【缓解措施 】:

首先降低IR Stream数据流,降低曝光时间,之后调整Depth Stream数据流,调整filter Threshold 数值在50~100之间。

6.3.2托盘上有高低反材质

托盘上有高低反二维码,实际场景如下图:

实际成像点云图,如下图所示:

【原因解释】:

打开相机IR Stram数据流,会发现二维码附近周边像素都很亮,造成光污染,从而引起二维码附近的点云异常。

【缓解措施】:

首先降低IR Stream数据流,降低曝光时间,之后调整Depth Stream数据流,将 depth quality模式改为high模式。

6.3.3 相机贴地安装/高亮地面等造成成像异常

实际成像点云图如下图所示:

【原因解释】:

TOF相机由于地面串扰,会在高亮地面,靠近托盘处有点云镜像,建议把TOF相机放置在距离地面30cm公分以上,如需要贴地安装,建议使用双目散斑相机。

【缓解措施】:

首先降低IR Stream数据流,降低曝光时间,之后调整Depth Stream数据流,调整filter Threshold 数值在50~100之间。

6.3.4拍摄高反料卷

拍摄高反圆柱料卷,会发现点云非圆柱状:

用iTOF相机拍摄,会发现点云如下图:

7.图漾相机共性操作

7.1 保存图像

图漾相机保存图像,可以打开如下链接,查看具体操作。

图漾相机保存图像操作

7.2 图漾相机常见错误码及解决措施

图漾官网给出了常见错误码及解决措施,具体可打开如下链接:

图漾官网提供的错误码

其他错误码解析,可打开如下链接:

个人整理的图漾错误码

7.3 图漾相机如何计算视野?

7.4 相机是否支持ISP功能?

若图像输出YUYV格式,则相机带有硬件ISP模块。

若图像输出BAYER8GB格式,则相机需要使用AutoIsp功能

7.5图漾相机如何保存参数?

1.首先下载图漾PercipioViewer2.6.1 看图软件

2.正常给相机连接后,打开目标相机

3.根据实际情况调整相机属性,以达到最佳效果。

4.在设置完相机参数后,关闭所有相机取流。

5.点击菜单栏 Tools > Parameters,进入 Camera parameters configuration 页面。

详细操作如下面链接所示:

图漾相机保存数据操作

相关推荐
youngong2 小时前
强迫症之用相机快门数批量重命名文件
数码相机·文件管理
weixin_466485113 天前
halcon标定助手的使用
数码相机
诸葛务农5 天前
ToF(飞行时间)相机在人形机器人非接触式传感领域内的应用
数码相机·机器人
塞北山巅5 天前
相机自动曝光(AE)核心算法——从参数调节到亮度标定
数码相机·算法
美摄科技6 天前
相机sdk是什么意思?
数码相机
phyit6 天前
全景相机领域,影石何以杀出重围?
数码相机
鄃鳕6 天前
装饰器【Python】
开发语言·python·数码相机
聪明不喝牛奶6 天前
【已解决】海康威视相机如何升级固件
数码相机
PAQQ6 天前
1站--视觉搬运工业机器人工作站 -- 相机部分
数码相机·机器人
诸葛务农6 天前
人形机器人基于视觉的非接触式触觉传感技术
数码相机·机器人