TOF系列—深度图滤波

本篇文章主要介绍TOF深度图的后处理,鉴于自身水平所限,如有错误,欢迎批评指正。(欢迎进Q群交流:874653199)

TOF由于其本身的特性,导致其所获得的深度图存在以下问题:

1.对空的地方存在许多离散噪点;

2.边缘处存在许多飞点;

3.点云不够平滑。

对深度图进行滤波处理,可以有效的去除噪点,并获得更为平滑的点云数据。深度图的滤波可以分为以下三个部分:

1.深度图去噪;

2.深度图平滑;

3.深度图补全。

深度图去噪是指去除对空的噪点,物体边缘产生的飞点,以及指定范围外的点。深度图平滑是指对深度图像进行平滑,深度图平滑在点云上的表现是点云更平整,厚度更薄。深度图补全则是针对去噪及平滑后的深度图进行补充,输出更多的有效信息(本博文不涉及)。

深度图平滑函数如下图所示:

图1 深度图平滑函数

中值滤波:将指定方框内的数据进行排序,并选取中间的数据替代当前的像素值;

均值滤波:将指定方框内的数据进行求和,并取均值,选取均值替代当前的像素值;

双边滤波:一种非线性滤波器,可保持边缘,并进行降噪平滑。采用加权平均,具有两个权重;

深度图去噪函数如下图所示:

图2 深度图去噪函数

IR过曝滤除:将IR值大于指定阈值像素的深度值置为零,由于像素点过曝会影响周围像素,所以同时将过曝点周围的像素深度值置零,经验长度为2;

IR欠曝滤除:将IR值小于指定阈值像素的深度值置为零,该像素点置信度降低,计算出的深度值不可靠;

Sobel边缘去噪:边缘通常是物体交界处,会产生一定的噪点,利用sobel进行边缘检测,并将边缘点去除;

连通域面积去噪:检测深度图中的连通域,并计算其面积,将面积小于阈值的连通域中的像素的对应深度值置零;

法向量去噪:根据深度图计算法向量,并根据阈值将像素值对应的深度值置零;

分类梯度去噪:根据阈值1将深度图分为前景和背景;将前景中梯度大于阈值2的像素点对应的深度值置零;将背景中梯度大于阈值2的像素点对应的深度值置零。

使用TOF模组正对白墙,采集数据,并进行相应的滤波。

深度图平滑函数:

均值滤波:

​​​​​​ ​​​​​​​

a.原始点云 b.均值滤波核=3

​​​​​​​ ​​​​​​​

c. 均值滤波核 d.均值滤波核=7

图 3 均值滤波

中值滤波:

​​​​​​​ ​​​​​​​

a.原始点云 b.中值滤波核=3

​​​​​​​ ​​​​​​​ ​​​​​​​

c. 中值滤波核=5 d. 中值滤波核=7

图 4 中值滤波

双边滤波:

​​​​​​​ ​​​​​​​ ​​​​​​​

a.原始点云 b.双边滤波------参数40、 80

​​​​​​​ ​​​​​​​ ​​​​​​​

c.双边滤波------参数50、100 d.双边滤波------参数 60 、 120

图 5 双边滤波

使用TOF采集如下场景的深度图,如下图所示:

​​​​​​​ ​​​​​​​ ​​​​​​​

图6 测量场景

深度图去噪函数:

过曝滤除:

​​​​​​​ ​​​​​​​

a.原始点云 b.IR=thresh1

​​​​​​​ ​​​​​​​

c.IR=thresh2

图 7 过曝滤除

欠曝滤除:

​​​​​​​ ​​​​​​​

a.原始点云 b.IR=thresh1

​​​​​​​ ​​​​​​​

c.IR=thresh2

图 8 欠曝滤除

sobel 边缘去噪:

​​​​​​​ ​​​​​​​

a.原始点云 b.sobel边缘去噪

图 9 sobel 边缘去噪

连通域面积去噪:

​​​​​​​ ​​​​​​​

a.原始点云 b.area=10

​​​​​​​ ​​​​​​​

c.area=30

图 10 连通域去噪

法向量去噪:

​​​​​​​ ​​​​​​​

a.原始点云 b.Normal

图 11 法向量去噪

分段梯度去噪:

​​​​​​​ ​​​​​​​

a.原始点云 ​​​​​​​ b.梯度1

​​​​​​​ ​​​​​​​

c.梯度2 ​​​​​​​ ​​​​​​​ d.梯度3

图 12 分段梯度去噪

组合去噪:

组合去噪可以有效的弥补各种方法的缺点,对于复杂场景,组合去噪删除了绝大部分的噪点,同时又尽可能多的保留了有效点数据。

相关推荐
孟健7 分钟前
LLM API 安全防线:从 OpenCode 盗刷事件到 LiteLLM 多模型容灾实操
人工智能·后端·架构
程序员cxuan24 分钟前
我用 WorkBuddy + ima 把公众号文章做成了知识库。
人工智能·后端·程序员
Code_Artist29 分钟前
AI 终于学会写正确的汉字了?GPT Image 2.0 到底做对了什么?
人工智能·chatgpt·openai
程序员cxuan1 小时前
玩了一天 REA,我号快没了
人工智能·后端·程序员
阿里云大数据AI技术1 小时前
聚数成湖,以智驭行:卓驭如何构建移动物理 AI 的数据底座
人工智能·spark
zyl7651 小时前
FlashAttention 详解:从 GPU 硬件、普通 Attention 到分块计算与 Online Softmax
算法
武子康2 小时前
150毫秒和2400毫秒:同一 Agent 任务的两种延迟
人工智能·后端·agent
暖心hebbie设计学习2 小时前
GitHub 热榜周报(10.19)|5 个把 AI 装回本地的开源项目:多 agent 控制台、本地语音、节点式生成(含技术看点)
人工智能·github
猪脚踏浪2 小时前
open webui 在docker容器里跑,并且是在内网断绝互联网的环境下。生成ppt
人工智能
海边捡石子2 小时前
FreeSWITCH 入门:把电话系统接入语音客服机器人
人工智能·后端