Paper -- 洪水深度估计 -- 利用图像处理和深度神经网络绘制街道照片中的洪水深度图

基本信息

论文题目：Flood depth mapping in street photos with image processing and deep neural networks

中文题目: 利用图像处理和深度神经网络绘制街道照片中的洪水深度图

作者及单位 ：

· Bahareh Alizadeh Kharazi，美国得克萨斯州立大学景观建筑与城市规划系

· Amir H. Behzadan，美国得克萨斯州立大学建筑科学系

投稿和接受时间 ：

· 投稿时间：2020年11月4日

· 修改时间：2021年3月10日

· 接受时间：2021年3月16日

期刊: 《Computers, Environment and Urban Systems》中国科学院SCI分区 1区

摘要

本文研究了在城市地区使用传统方法如遥感和数字高程模型（DEMs）进行洪水深度估计时常出现的大误差问题
提出了一种利用 深度神经网络检测被淹没的停车标志 的新方法; 此外，还结合了 Canny边缘检测 和 概率Hough变换 计算杆长并 估计洪水深度
研究使用了一个名为 BluPix 2020.1 的数据集，该数据集包含美国和加拿大10个FEMA地区的网页挖掘照片

背景

了解 洪水深度 对于 应对洪水后的响应和恢复操作 的成功至关重要
常用的 洪水估计方法 (水深传感器等) 具有较大局限性

方法

首先使用修改后的Mask R-CNN 检测街景照片中的停车标志
再应用 Canny边缘检测和概率Hough变换 来确定停车标志杆的可见长度
通过 洪水前和洪水后的图像对中标志杆的长度差异, 估算洪水深度
由于一些图像中标志牌不是正对着的, 使用 倾斜校正方法 校正了的结果所得到的误差更低

`大致方法`

(a) 图像: 显示了一个洪水情况下的停车标志

(b) 图像: 展示了同一停车标志在没有洪水情况下的正常状态

洪水深度估计 ：通过比较洪水情况下和无洪水情况下停车标志的可见高度差异，可以计算洪水深度。在这种情况下，通过测量 p 和 p' 的差值可以估算 d w d_w dw，即洪水深度

s 和 s'：这两个标记代表停车标志在图像中的总高度。在洪水情况下为 s，无洪水情况下为 s'。
p 和 p'：这两个标记表示停车标志杆的可见长度。在洪水情况下的可见长度为 p，无洪水情况下的可见长度为 p'。
d w d_w dw ：洪水深度, 即洪水情况下水面到停车标志底部的距离
- 前提: 现实中标志牌的尺寸是类似国标这种, 尺寸是固定已知的
- 利用停车标志八边形的已知物理高度，计算图像中的每像素实际长度比例 r r r 和 r ′ r' r′ 估算水深
  d w = r ′ ⋅ p ′ − r ⋅ p d_w = r' \cdot p' - r \cdot p dw=r′⋅p′−r⋅p

`基于Faster R-CNN框架的停车标志牌检测`

该图描述了从输入RGB图像 到 输出目标检测框 的完整流程

这一过程利用了卷积神经网络（CNN）技术，来实现图像中的对象识别和定位

输入：输入是一个标准的RGB图像，图中展示了一个被洪水淹没的停车标志
CNN ：首先，图像通过卷积神经网络（CNN）进行特征提取
RoI Align ：利用区域感兴趣对齐（RoI Align）技术从CNN特征图中精确抽取候选区域的特征
卷积层（Conv） ：接着，这些特征被送入更深的卷积层进行进一步的分析
分类（分类）和边界框回归（定位） ：在特征经过处理后，用于两个主要任务：一是识别图像中的对象类别（即停车标志），二是确定对象的具体位置（类别框）。
FCN ：全卷积网络（FCN）用于从卷积特征图中生成像素级的预测，用于精细化目标检测
输出：最终输出是标记了目标检测边界框的图像，如图中黄色框所示，准确标出了停车标志的详细位置

`Canny边缘检测过程`

输入图像 ：最左侧显示的是原始RGB图像，即洪水情况下的停车标志。
灰度图像 ：原始图像被转换成灰度图像，减少处理数据量同时保留必要信息
高斯模糊 ：使用高斯核对灰度图像进行模糊处理，以消除图像噪声并平滑图像
边缘检测 ：

-- Sobel算子：利用Sobel算子计算图像的梯度强度和方向，这是检测图像边缘的关键步骤

-- 梯度和方向：𝐺 和 𝜃 分别代表每个像素的梯度强度和梯度方向
非最大抑制 ：这一步骤旨在仅保留梯度最大的边缘，去除非边缘区域的所有梯度响应
滞后阈值 ：通过设置两个阈值------低阈值和高阈值，进一步细化和确认真实的边缘。
最终生成的边缘图 : 显示了图像中检测到的所有边缘，这些边缘以亮线的形式表示，主要集中在停车标志及其杆上

`确定洪水中停车标志及其支杆的精确位置`

使用图像处理技术确定洪水中停车标志及其支杆的精确位置
检测到的停车标志 ：第一个图显示了在洪水背景中的停车标志被自动检测并用绿色边框标出。
边界框 ：第二个图展示了放大的停车标志，绿色框清晰地标示了停车标志的边界。
边界框坐标 ：第三个图展示了边界框的具体坐标，这些坐标定义了框的四个角：

-- ( x 1 , y 1 ) (x_1, y_1) (x1,y1)：边界框左上角的坐标

-- ( x 2 , y 2 ) (x_2, y_2) (x2,y2)：边界框右上角的坐标

-- ( x 3 , y 3 ) (x_3, y_3) (x3,y3)：边界框左下角的坐标

-- ( x 4 , y 4 ) (x_4, y_4) (x4,y4)：边界框右下角的坐标

`确定停车标志杆的位置`

图中的标志：停车标志被框定，用于分析其几何参数。
S o c t S_{oct} Soct: 标志顶部的宽度
h h h: 从标志底部到所需检测点的高度
2 w 2w 2w: 用红线标记的宽度，表示检测区域的宽度
( x c o o , y c o o ) (x_{coo}, y_{coo}) (xcoo,ycoo): 表示检测区域顶部中心的坐标
( x y m a x , y m a x ) (x_{y_{max}}, y_{max}) (xymax,ymax): 表示检测区域底部中心的坐标

`从图像中估算停车标志杆的长度`

左图：显示了洪水情况下的停车标志，红色线表示杆的候选线
中图：强调了停车标志杆的估算位置，使用黄色和蓝色标记以示区分。
右图：展示了用于计算杆长的坐标系统，以及如何从这些坐标得出杆的实际长度 p = y m a x − y c o o p=y_{max}-y_{coo} p=ymax−ycoo

`通过模板匹配方法估计停车标志的倾斜角度以校正标志牌`

输入图像 ：为洪水中的停车标志图像，标志牌可能存在旋转和倾斜
模板八边形的旋转 ：模板八边形被依次绕 x , y , z x,y,z x,y,z 三轴旋转，分别生成一系列可能的姿态（如图中展示的不同倾斜角度模板）
匹配重叠 ：将调整大小后的模板八边形与输入图像重叠，并计算重叠区域的相似度（Overlap）
最大重叠模板 ：找到重叠区域最大的模板视为最佳匹配，确定停车标志的倾斜角度。
输出：根据对应的俯仰、偏航、滚转角度（ P i t c h = − 12 ° ， Y a w = − 30 ° ， R o l l = 0 ° ） Pitch = -12°，Yaw = -30°，Roll = 0°） Pitch=−12°，Yaw=−30°，Roll=0°） 校正图像

效果

左侧案例 (a) ：包括洪水前和洪水后两张配对照片。标注了杆的总长度（洪水前）和露出部分的长度（洪水后）

显示了根据这些数据计算出的洪水深度 和 误差, Δ 表示估算误差，单位为英寸
右侧案例 (b)：同上