▒▒本文目录▒▒
-
- 摘要
- 一、引言
-
- [1.1 光学计量概述](#1.1 光学计量概述)
- [1.2 光学计量的革命性发明](#1.2 光学计量的革命性发明)
- [1.3 图像处理在光学计量中的核心地位](#1.3 图像处理在光学计量中的核心地位)
- 二、光学计量中的图像形成
-
- [2.1 条纹图案的基本模型](#2.1 条纹图案的基本模型)
- [2.2 主要光学计量技术](#2.2 主要光学计量技术)
-
- [(1) 经典干涉测量](#(1) 经典干涉测量)
- [(2) 光弹性测量](#(2) 光弹性测量)
- [(3) 几何莫尔/莫尔干涉测量](#(3) 几何莫尔/莫尔干涉测量)
- [(4) 全息干涉测量](#(4) 全息干涉测量)
- [(5) 数字全息](#(5) 数字全息)
- [(6) 电子散斑图案干涉测量(ESPI)](#(6) 电子散斑图案干涉测量(ESPI))
- [(7) 剪切散斑干涉测量](#(7) 剪切散斑干涉测量)
- [(8) 条纹投影轮廓术/偏折测量](#(8) 条纹投影轮廓术/偏折测量)
- [(9) 数字图像相关(DIC)/立体视觉](#(9) 数字图像相关(DIC)/立体视觉)
- 三、光学计量中的图像处理层次结构
-
- [3.1 预处理](#3.1 预处理)
- [3.2 分析](#3.2 分析)
- [3.3 后处理](#3.3 后处理)
- 四、深度学习基础
-
- [4.1 人工神经网络(ANN)](#4.1 人工神经网络(ANN))
- [4.2 深度学习的发展历程](#4.2 深度学习的发展历程)
- [4.3 卷积神经网络(CNN)](#4.3 卷积神经网络(CNN))
- [4.4 典型网络架构](#4.4 典型网络架构)
- [4.5 上采样方法](#4.5 上采样方法)
- 五、光学计量中的深度学习:原理与优势
-
- [5.1 逆问题的挑战](#5.1 逆问题的挑战)
- [5.2 深度学习解决方案](#5.2 深度学习解决方案)
- [5.3 深度学习的优势](#5.3 深度学习的优势)
- 六、深度学习在光学计量中的应用
- 七、挑战与局限
-
- [7.1 技术挑战](#7.1 技术挑战)
-
- [(1) 泛化能力](#(1) 泛化能力)
- [(2) 精度要求](#(2) 精度要求)
- [(3) 可解释性](#(3) 可解释性)
- [7.2 实现挑战](#7.2 实现挑战)
-
- [(1) 训练数据获取](#(1) 训练数据获取)
- [(2) 模拟与现实的差距](#(2) 模拟与现实的差距)
- [(3) 计算资源](#(3) 计算资源)
- 八、未来发展方向
-
- [8.1 物理信息深度学习](#8.1 物理信息深度学习)
- [8.2 小样本学习与迁移学习](#8.2 小样本学习与迁移学习)
- [8.3 不确定性量化](#8.3 不确定性量化)
- [8.4 自动化与智能化](#8.4 自动化与智能化)
- [8.5 新型网络架构](#8.5 新型网络架构)
- 九、结论
- 参考文献
原文 :Deep learning in optical metrology: a review
期刊 :Light: Science & Applications (2022) 11:39
作者 :Chao Zuo, Jiaming Qian, Shijie Feng, Wei Yin, Yixuan Li, Pengfei Fan, Jing Han, Kemao Qian, Qian Chen
DOI:https://doi.org/10.1038/s41377-022-00714-x
摘要
随着科学基础和技术实现的进步,光学计量已成为制造业、基础研究和工程应用中的重要问题解决工具,广泛应用于质量控制、无损检测、实验力学和生物医学等领域。近年来,深度学习作为机器学习的一个子领域,通过从数据中学习来解决实际问题,这一发展得益于大规模数据集的可用性、增强的计算能力、快速的数据存储以及深度神经网络的新型训练算法。深度学习目前正在光学计量领域引起越来越多的关注并获得广泛应用。
与传统的"基于物理"方法不同,基于深度学习的光学计量是一种"数据驱动"的方法,它为该领域的许多挑战性问题提供了替代解决方案,并展现出更好的性能。本综述全面回顾了深度学习技术在光学计量领域的当前状态和最新进展。
一、引言
1.1 光学计量概述
光学计量是利用光作为标准或信息载体进行测量的科学与技术。光具有振幅、相位、波长、方向、频率、速度、偏振和相干性等基本特性。在光学计量中,这些基本特性被巧妙地用作被测量的信息载体,使得各种光学计量工具能够测量广泛的对象。

图1展示了典型光学计量方法中的图像形成过程,包括:经典干涉测量、光弹性、几何莫尔/莫尔干涉测量、全息干涉测量、数字全息、电子散斑剪切干涉测量(ESPI)、剪切散斑干涉测量、条纹投影轮廓术(FPP)和偏折测量、数字图像相关(DIC)和立体视觉。
例如:
- 光学干涉测量利用光的波长作为长度的精确分割标记
- 光速定义了国际长度标准------米
光学计量正越来越多地被应用于许多需要可靠数据的场合,如距离、位移、尺寸、形状、粗糙度、表面特性、应变和应力状态的测量。
1.2 光学计量的革命性发明
光学计量领域经历了几次革命性发明:
-
激光的发明(1960年代):激光干涉测量的出现可以追溯到1962年Denisyuk以及Leith和Upatnix独立进行的实验,旨在将激光产生的相干光与Gabor的全息方法相结合。
-
电荷耦合器件(CCD)相机的发明(1969年):CCD相机取代了早期的照相乳剂,以数字方式记录来自被测量的光强信号。这标志着光学计量的"数字化转型"。
-
计算机信号处理:基于计算机的信号处理工具被引入以自动化光学计量数据的定量确定,消除了与人工、劳动密集、耗时的条纹图案评估相关的不便。
1.3 图像处理在光学计量中的核心地位
随着数字化转型,图像处理在光学计量中发挥着重要作用,其目的是将观察到的测量结果(通常以变形条纹/散斑图案的形式显示)转换为研究对象所需的属性(如几何坐标、位移、应变、折射率等)。
这种信息恢复过程类似于计算机视觉和计算成像,呈现为一个反问题,通常在解的存在性、唯一性和稳定性方面是不适定的。

图2展示了典型光学计量方法的图像处理流水线,包含预处理、分析和后处理三个主要步骤。
二、光学计量中的图像形成
2.1 条纹图案的基本模型
在大多数干涉测量方法中,图像是通过物体光束和参考光束的相干叠加形成的。典型的条纹图案可以表示为:
I ( x , y ) = A ( x , y ) + B ( x , y ) cos [ ϕ ( x , y ) ] I(x,y) = A(x,y) + B(x,y)\cos[\phi(x,y)] I(x,y)=A(x,y)+B(x,y)cos[ϕ(x,y)]
其中:
- ( x , y ) (x,y) (x,y) 表示水平和垂直方向的空间坐标
- A ( x , y ) A(x,y) A(x,y) 是背景强度
- B ( x , y ) B(x,y) B(x,y) 是条纹振幅
- ϕ ( x , y ) \phi(x,y) ϕ(x,y) 是相位分布
在大多数情况下,相位是条纹图案中需要提取的主要量,因为它与最终感兴趣的对象量相关,如表面形状、机械位移、3D坐标及其导数。
2.2 主要光学计量技术
(1) 经典干涉测量
利用激光的高相干性,通过Fizeau、Twyman Green和Mach-Zehnder干涉仪等,以波长量级的高精度表征光学元件的表面、像差或粗糙度。
(2) 光弹性测量
一种无损、全场的光学计量技术,用于测量透明物体在载荷下产生的应力。基于透明聚合物中观察到的"双折射"光机械特性。
(3) 几何莫尔/莫尔干涉测量
利用莫尔现象测量表面的形状、变形或位移。莫尔图案由两个周期性或准周期性光栅的叠加形成。
(4) 全息干涉测量
利用全息技术作为光学计量工具,通过比较两个波前产生条纹图案,提供关于对象表面的定量信息。包括实时、双曝光和时间平均全息干涉测量三种基本方法。
(5) 数字全息
利用数字相机(CMOS或CCD)记录参考波和来自样品的物波干涉产生的全息图。数值传播算法(如菲涅尔变换或角谱算法)使样品能够在任何深度进行数字重聚焦。
(6) 电子散斑图案干涉测量(ESPI)
被测对象通常具有光学粗糙表面,当被相干激光束照射时,会产生具有随机相位、振幅和强度的散斑图案。
(7) 剪切散斑干涉测量
通过在CCD相机前引入剪切装置来检测两个相邻点之间的光程差变化,使表面下缺陷更加明显,成为无损检测应用的强大工具。
(8) 条纹投影轮廓术/偏折测量
广泛使用的非干涉光学计量技术,通过数字投影仪将正弦图案非相干地投射到物体表面,相位与表面高度相关。
(9) 数字图像相关(DIC)/立体视觉
采用图像相关技术测量对象表面的全场形状、位移和应变。对象表面应具有随机强度分布(随机散斑图案)。
三、光学计量中的图像处理层次结构

图3展示了图像处理层次结构的大图景,各种类型的算法分布在不同层次中。
光学计量中的数字图像处理基本任务可以定义为:根据描述图像形成过程的强度分布物理模型,将捕获的原始强度图像转换为所需的对象量。图像处理层次结构通常包含三个主要步骤:
3.1 预处理
预处理的目的是评估图像数据的质量,通过抑制或最小化不需要的干扰(噪声、混叠、几何失真等)来提高数据质量。
主要预处理算法包括:
-
去噪:中值滤波、自旋滤波、各向异性扩散、相干扩散、小波变换、窗口傅里叶变换(WFT)、块匹配3D(BM3D)等
-
增强:自适应滤波、二维经验模态分解、双树复小波变换
-
颜色通道分离:解决颜色复用技术中三通道耦合和不平衡问题
-
图像配准和校正:对齐两个或多个图像到参考图像或校正镜头像差引起的图像失真
-
插值:最近邻、双线性、双三次和非线性回归插值算法
-
外推:最小化傅里叶变换条纹分析方法中由频谱泄漏引起的边界伪影
3.2 分析
图像分析是图像处理架构的核心组件,用于提取反映所需物理量的关键信息承载参数。
主要分析算法包括:
-
相位解调:
- 空间相位解调:傅里叶变换方法、窗口傅里叶变换、小波变换、正则化相位跟踪、调频方法
- 时间相位解调:外差干涉测量、相移技术
-
相位展开:
- 空间相位展开:Goldstein方法、可靠性引导方法、Flynn方法、最小Lp范数方法
- 时间相位展开:灰度编码方法、多频(分层)方法、多波长(外差)方法
- 几何相位展开:利用投影仪-相机系统的极线几何
-
子集相关:
- DIC和立体摄影测量中的匹配算法
- 整像素相关方法:归一化互相关(NCC)、零均值归一化平方差和(ZNSSD)
- 亚像素精细化方法:强度插值、相关系数曲线拟合、梯度方法、Newton-Raphson算法、逆组合Gauss-Newton算法(IC-GN)
3.3 后处理
后处理的主要任务是进一步精细化测量的相位或检索的位移场,最终将其转换为被测对象的所需物理量。
主要后处理算法包括:
-
去噪:最小二乘拟合、各向异性平均滤波、WFT、全变分、非局部均值滤波
-
数字重聚焦:通过数值衍射或反向传播算法获得聚焦图像
-
误差补偿:相位误差、强度非线性、运动引起的误差补偿
-
量值转换:将相位或位移场转换为所需样品量
四、深度学习基础
4.1 人工神经网络(ANN)

图4展示了人工神经网络的历史演变,横轴表示时间,纵轴表示研究和开发活动。
受生物神经网络启发,人工神经网络由称为人工神经元的互联计算单元组成。最简单的神经网络是感知器,由单个人工神经元组成。人工神经元通过非线性激活函数 σ \sigma σ将输入 x x x映射到输出:
f P ( x ) = σ ( w T x + b ) f_P(x) = \sigma(w^Tx + b) fP(x)=σ(wTx+b)
其中 w w w是权重向量, b b b是偏置。
典型的激活函数包括:
- 符号函数: σ ( x ) = sgn ( x ) \sigma(x) = \text{sgn}(x) σ(x)=sgn(x)
- Sigmoid函数: σ ( x ) = 1 1 + e − x \sigma(x) = \frac{1}{1+e^{-x}} σ(x)=1+e−x1
- 双曲正切函数: σ ( x ) = e x − e − x e x + e − x \sigma(x) = \frac{e^x-e^{-x}}{e^x+e^{-x}} σ(x)=ex+e−xex−e−x
- 修正线性单元(ReLU): σ ( x ) = max ( 0 , x ) \sigma(x) = \max(0, x) σ(x)=max(0,x)
4.2 深度学习的发展历程
深度学习的发展经历了三个主要浪潮:
第一波(1943-1960年代):
- 1943年:McCulloch和Pitts建立了生物神经元的简化数学模型
- 1958年:Rosenblatt提出感知器概念
第二波(1986-2000年代):
- 1986年:Rumelhart等人提出多层感知器的反向传播算法
- 1989年:LeCun等人提出卷积神经网络(CNN)
- 发展了长短期记忆(LSTM)循环神经网络(RNN)
第三波(2006年至今):
- 2006年:Hinton等人提出深度信念网络(DBN),正式命名"深度学习"
- 2012年:AlexNet赢得ImageNet竞赛,CNN成为深度学习的主导框架
- 2014年:生成对抗网络(GAN)提出
- 2015年:ResNet解决深度网络训练问题
4.3 卷积神经网络(CNN)

图5展示了图像分类任务的典型CNN架构,包括输入层、卷积层、全连接层和输出预测。
CNN是MLP架构的进化版本,专门用于处理单或多阵列数据,更适合处理图像类输入。CNN的主要特点:
- 卷积层:代替常规全连接层,对输入图像与一组卷积滤波器进行卷积
- 池化层:通过最大或平均操作聚合邻域像素值,降低卷积层的维度
- 参数共享:利用图像的空间依赖性,只考虑每个神经元的局部邻域
4.4 典型网络架构

图6展示了SRCNN、FCN和U-Net三种典型结构。
SRCNN (Super-Resolution CNN)
Dong等人提出的用于图像超分辨率任务的网络,采用简单的堆叠卷积层方式,跳过池化层以保持输入维度。
FCN (Fully Convolutional Network)
Long等人提出的用于语义分割任务的网络,将分类CNN的全连接层替换为1×1卷积层,实现像素级输出。
U-Net
Ronneberger等人提出的准对称编码器-解码器模型架构,包含收缩分支和扩展分支,实现多分辨率分析和多尺度图像到图像变换。
4.5 上采样方法

图7展示了反池化、转置卷积和子像素卷积三种方法。
- 反池化:记住最大池化层中最大值的位置,在反池化层将值复制到该位置
- 转置卷积:通过插入零并执行卷积来提高图像分辨率
- 子像素卷积:通过卷积生成多通道,然后重塑产生放大的输出
五、光学计量中的深度学习:原理与优势
5.1 逆问题的挑战

图8展示了逆问题的本质以及光学计量如何通过主动方法将不适定逆问题转化为适定估计问题。
光学计量中的关系可以描述为:
I = N { A ( p ) } I = N\{A(p)\} I=N{A(p)}
其中:
- I I I 是观测图像
- A A A 是将参数空间映射到图像空间的前向测量算子
- N N N 表示噪声的影响
- p p p 是所需样品参数
从观测图像恢复样品参数涉及逆问题求解,存在以下挑战:
- 未知或不匹配的前向模型 :实际应用中的前向模型 A A A总是对现实的近似描述
- 误差累积和次优解:分步处理方法可能导致误差累积
- 逆问题的不适定性 :算子 A A A通常条件数较差
5.2 深度学习解决方案

图9展示了训练阶段如何创建真实对象参数p和相应原始测量数据I的数据集,并建立映射关系。
深度学习方法通过以下优化问题建立映射关系:
R ^ θ = arg min R θ , θ ∈ Θ ∥ p − R θ ( I ) ∥ 2 2 + R ( θ ) \hat{R}\theta = \arg\min{R_\theta, \theta \in \Theta} \|p - R_\theta(I)\|_2^2 + R(\theta) R^θ=argRθ,θ∈Θmin∥p−Rθ(I)∥22+R(θ)
深度学习将优化问题表述为寻找满足伪逆映射关系的"重建算法" R ^ θ \hat{R}_\theta R^θ。
5.3 深度学习的优势

图10展示了FPP的基本原理以及深度学习技术相比传统光学计量算法的优势。
(1) 从"物理模型驱动"到"数据驱动"
深度学习颠覆了传统的"物理模型驱动"范式,开创了"数据驱动"的学习型表示范式。重建算法 R ^ θ \hat{R}_\theta R^θ可以从实验数据中学习,无需借助前向模型 A A A的先验知识。
(2) 从"分而治之"到"端到端学习"
深度学习允许"端到端"学习结构,神经网络可以在一步中学习原始图像数据与所需样品参数之间的直接映射关系,具有协同优势。
(3) 从"求解不适定逆问题"到"学习伪逆映射"
深度学习利用复杂的神经网络结构和非线性激活函数提取样品数据的高维特征,建立足以描述整个测量过程的非线性伪逆映射模型。
六、深度学习在光学计量中的应用

图11展示了深度学习如何改变光学计量技术的概念,几乎所有数字图像处理的基本任务都已被深度学习改革。
6.1 预处理应用
条纹去噪

Yan等人提出了一种基于SRCNN的条纹去噪方法,使用模拟数据训练网络。Jeon等人提出了基于U-Net的快速散斑噪声减少方法。Hao等人构建了用于ESPI条纹图像批量去噪的FFDNet网络。
颜色通道分离

研究团队报告了一种基于深度学习的单次拍摄3D形状测量方法,可自动消除颜色串扰和通道不平衡。
图像增强
Shi等人提出了一种基于深度学习的条纹增强方法,可以从不均匀背景强度和强度调制中恢复高质量条纹图案。
6.2 分析应用
相位解调

Feng等人提出了从单幅条纹图案中提取相位的深度学习方法。Yang等人将GAN引入条纹分析,实现高质量的相位提取。
相位展开

Wang等人提出了基于U-Net的相位展开方法,可以直接从包裹相位预测绝对相位。
子集相关
深度学习在立体匹配领域取得重大突破,多种网络架构被用于视差估计任务,包括MC-CNN、Content-CNN、GC-Net等。
6.3 后处理应用
相位去噪
Montresor等人提出了基于深度学习的相位去噪方法,可直接从检索的相位分布中去除噪声。
数字重聚焦
Ren等人提出了一种深度学习方法,从单幅全息图中预测不同深度的重聚焦图像。
误差补偿
Nguyen等人提出了基于深度学习的相位误差补偿方法,可以校正相移误差和强度非线性。
6.4 端到端应用
从条纹到3D形状
Nguyen等人首次提出了端到端的FPP框架,直接从条纹图案预测3D形状,无需相位解调、相位展开和相位到高度转换等中间步骤。
从立体图像到视差
Kendall等人提出的GC-Net是第一个用于立体匹配的端到端深度学习方法,使用3D卷积处理代价体。
七、挑战与局限
7.1 技术挑战
(1) 泛化能力
深度学习方法的性能与训练样本的大小和多样性密切相关。当遇到训练阶段未曾遇到的输入时,深度网络建立的映射可能失效。
(2) 精度要求
与计算机视觉任务不同,光学计量更关注精度、可靠性、重复性和可追溯性。过度拟合的深度神经网络可能会"平滑掉"缺陷,导致漏检。
(3) 可解释性
深度学习的"黑箱"性质使其缺乏对测量原理的深入理解。在科学研究和工业应用中,研究人员通常需要对测量结果提供物理解释。
7.2 实现挑战
(1) 训练数据获取
高质量标注数据的获取是深度学习应用的主要瓶颈。光学计量任务通常需要精确的物理量作为真值,这在实际实验中难以获得。
(2) 模拟与现实的差距
使用模拟数据训练的网络在实际实验中可能性能下降,因为模拟难以完全复制真实实验条件的复杂性。
(3) 计算资源
深度神经网络的训练需要大量计算资源,对于实时测量应用,推理速度也是重要考虑因素。
八、未来发展方向
8.1 物理信息深度学习
将物理知识融入深度学习架构,减少对大量训练数据的需求,提高模型的泛化能力和可解释性。这包括:
- 基于模型的神经网络
- 深度展开网络
- 神经网络与传统优化算法的混合
8.2 小样本学习与迁移学习
发展适用于光学计量的小样本学习方法,利用迁移学习技术将在一个任务上学到的知识迁移到相关任务。
8.3 不确定性量化
为深度学习预测提供不确定性估计,增强测量的可靠性和可信度。
8.4 自动化与智能化
将深度学习与自动化测量系统集成,实现智能化的光学计量解决方案。
8.5 新型网络架构
探索适用于光学计量任务的新型网络架构,如注意力机制、Transformer等。
九、结论
深度学习正在深刻改变光学计量领域的范式,从传统的"物理模型驱动"方法转向"数据驱动"方法。通过端到端学习,深度学习能够直接从原始图像数据预测所需物理量,避免了传统方法中的误差累积问题。
尽管面临泛化能力、可解释性和训练数据获取等挑战,深度学习在光学计量中的应用前景依然广阔。未来的研究将致力于将物理知识与深度学习相结合,发展更高效、更可靠、更智能的光学计量解决方案。
参考文献
1\] Zuo C, Qian J, Feng S, et al. Deep learning in optical metrology: a review\[J\]. Light: Science \& Applications, 2022, 11(1): 39. *** ** * ** *** 博主(博士研究生)🛰️: easy_optics,在光学检测领域可提供实验指导、深度学习程序开发、申博指导、论文指导。 *** ** * ** *** > ⭐️◎⭐️◎⭐️◎⭐️ · · · \*\*博 主 简 介\*\* · · · ⭐️◎⭐️◎⭐️◎⭐️ ♪ > > ▁▂▃▅▆▇ **博士研究生** ,研究方向主要涉及定量相位成像领域,具体包括干涉相位成像技术(如\*\***全息干涉☑** \*\*、**散斑干涉☑**等)、非干涉法相位成像技术(如**波前传感技术☑** ,**相位恢复技术☑**)、**条纹投影轮廓术(相位测量偏折术)**、此外,还对各种**相位解包裹算法☑** ,**相干噪声去除算法☑**等开展过深入的研究。 > **程序获取、程序开发、实验指导,软硬系统开发,科研服务,申博指导,🛰️easy_optics或如下。** *** ** * ** ***