论文阅读:中央凹堆叠成像技术

论文:Fovea Stacking: Imaging with Dynamic Localized Aberration Correction

这是发表在 2025 ACM Transactions on Graphics 的论文。作者是阿普杜拉国王科技大学的 Wolfgang 老师的研究团队,这篇论文提出了Fovea Stacking(中央凹堆叠) 这一新型计算成像范式,核心是结合可变形相位板(DPP) 实现动态局部像差校正,旨在简化并小型化相机光学系统,解决传统简化光学系统存在的严重离轴像差问题,同时在成像质量、景深拓展、目标跟踪等方面实现突破,相关成果已在硬件原型上验证。

摘要

对更小外形尺寸相机的需求,推动了对光学复杂度降低(如减少透镜元件数量)的计算成像系统的研究。但此类简化的光学系统通常存在严重的像差问题,离轴区域尤为突出,且难以仅通过软件实现有效校正。

本文提出中央凹堆叠成像系统,该系统利用新型动态光学元件 ------ 可变形相位板(DPP),对图像传感器上任意位置实现局部像差校正。通过可微光学模型优化可变形相位板的形变模式,离轴像差得以局部校正,在注视点处生成清晰度提升的中央凹成像,这一过程与人类眼睛的中央凹视觉机制相似。将多个不同注视点的中央凹图像进行堆叠,即可得到无像差的复合图像。为在成像预算约束下高效覆盖全视场,本文提出对可变形相位板的形变模式进行联合优化。针对可变形相位板的非线性特性,本文引入基于神经网络的控制模型,提升了仿真结果与硬件实际性能的一致性。

实验进一步证明,在拓展景深成像方面,中央凹堆叠的图像质量优于传统焦点堆叠技术。结合目标检测或眼动追踪技术后,该系统可动态调整透镜,实现对感兴趣目标的跟踪,能够生成适用于监控、中央凹式虚拟现实显示等下游应用的实时中央凹视频。

  • 图 1:中央凹堆叠是一种创新的计算摄影范式,旨在简化(并最终实现微型化)相机光学系统。(a) 该光学系统由一片像差显著的消色差双胶合透镜,以及一片折射式可变形相位板(DPP)组成;后者可对局部感兴趣区域(中央凹)的像差进行校正。这套光学系统无法同时对整幅图像的所有像差完成校正,但可变形相位板能将中央凹动态移动至图像中的任意位置。例如,(a) 中可变形相位板的形变状态,针对传感器上对应红色方框的中央凹区域,对红色光路的像差进行了校正。(b) 展示了不同可变形相位板形变状态下,采集到的中央凹成像的局部放大图:左列是 (a) 对应状态的成像,其余列则是将中央凹分别移动至其他方框位置后的成像。© 对不同中央凹成像中最清晰的区域进行堆叠(即中央凹堆叠),即可还原出无像差的全清晰对焦图像。文中还探讨了该技术在目标跟踪、深度相关对焦等其他领域的应用。

引言

围绕传统成像系统的小型化瓶颈、新兴动态光学元件的技术机遇,阐述了本研究的核心思路与主要贡献,具体总结如下:

  1. 传统成像系统的发展局限
    传统成像系统依靠精密设计的复杂透镜组校正全视场的轴上、轴外像差,虽已在移动设备等小尺寸场景实现了不错的成像效果,但受现有设计理念和折射透镜等光学元件的限制,进一步小型化已接近物理极限。
  2. 新兴动态可调光学元件的技术契机
    新型动态可调光学元件的出现为成像系统设计提供了全新范式,其中液调透镜技术已成熟至小型、平价并应用于手机端;而可变形相位板(DPP) 作为更新型的动态可调元件,与液调透镜类似可动态控制液体表面形状,且能实现局部表面几何的精细调控,是自适应光学系统中反射式可变形镜的透射式替代方案,成为本研究的核心光学元件基础。
  3. Fovea Stacking 的核心设计思路
    本研究利用 DPP 在紧凑型光学系统中动态、局部塑造光波前的能力,设计了新型中央凹成像系统:将高像差的消色差双胶合透镜与 DPP 结合,该系统虽无法像传统相机透镜那样同时校正全视场像差,但可对局部感兴趣区域(中央凹) 实现像差校正,产出该区域高保真的成像结果;同时通过 DPP 的动态控制,可将中央凹区域移动到像平面任意位置,最终将多张不同中央凹位置的成像结果堆叠(即 Fovea Stack),重建出全视场无像差的高保真图像。
  4. 本研究的核心贡献
    明确了研究在方法、模型、应用、硬件验证等方面的核心成果,包括提出 Fovea Stacking 相机新范式、设计 DPP 形变模式联合优化策略、开发神经网络模型解决 DPP 非线性问题、验证该技术的拓展景深成像能力、实现结合目标 / 眼动追踪的动态中央凹视频成像,且所有能力均在可脱离实验室使用的紧凑型硬件原型上完成验证(目前 DPP 的小型化程度尚未达到液调透镜水平)。

相关工作

本章节围绕波前调制器、焦点堆叠、可微光学、中央凹成像四大核心方向展开综述,梳理了与 Fovea Stacking 技术相关的研究现状,明确了现有研究的局限性,同时凸显了本研究的创新点与技术突破方向,为 Fovea Stacking 的设计与实现奠定了研究基础。

  1. 波前调制器(Wavefront Modulators)
    波前调制器是动态塑造光线以补偿光学畸变的核心元件,现有技术各有缺陷,而可变形相位板(DPP)为紧凑型成像系统提供了新选择:
    传统调制器:变形镜(DM)为反射式,需折叠光路;液晶纯相位空间光调制器(LC SLM)需偏振光且波长依赖性强,透射式还存在衍射伪影,均不利于光学系统小型化。
    DPP 的优势:作为新型光流体折射波前调制器,由可变形膜、液腔和带六边形电极的刚性玻璃组成,可通过静电控制实现最高 7 阶径向泽尼克级别的畸变校正,是透射式器件,无需折叠光路,适配紧凑型设计。
    现有问题:传统线性控制策略在大波前偏差下精度不足,本研究为此提出基于神经网络的控制策略以提升精度。
    与自适应光学(AO)系统的区别:AO 系统主要校正光进入成像系统前由大气湍流等外部介质引入的像差,而本研究聚焦于校正简化紧凑型光学系统自身缺陷导致的畸变,并针对具体光学系统定制化设计。
  2. 焦点堆叠(Focus Stacking)
    焦点堆叠是拓展景深的经典方法,与本研究的 Fovea Stacking 概念相似但核心能力存在显著差异,也是本研究的重要基线对比方法:
    核心原理:通过采集不同对焦距离的图像,融合各图像最清晰区域重建全清晰图像,也可校正场曲问题。
    传统方法局限:调焦多依赖传感器 / 透镜的机械移动,易产生振动;液体可调透镜(FTLs)虽可无机械调焦,但仅能调节光焦度,无法校正高阶像差。
    DPP 与 Fovea Stacking 的突破:DPP 可通过调制泽尼克多项式中的 "散焦" 项调节对焦距离,且能校正高阶像差;Fovea Stacking 不仅可在图像平面(x-y 方向)堆叠,还能沿深度方向堆叠,实现像差校正与拓展景深的双重效果。
  3. 可微光学(Differentiable Optics)
    可微光学是光学与重建算法端到端协同设计的核心技术,为本研究的 DPP 波前优化提供了关键方法支撑:
    研究进展:从最初的衍射光学元件(DOE)可微实现,逐步拓展到广角成像、超分辨率、高光谱成像等场景;后续提出的神经代理、可微光线追踪技术,实现了透镜参数的全微分求解,还降低了内存占用、支持透镜从随机初始化自动设计,甚至能设计复合流体自由曲面透镜、折衍混合透镜。
    本研究的应用:采用最新的可微光线追踪框架,针对中央凹成像和堆叠需求定制化优化 DPP 的形变模式,以提升图像重建质量,是该技术在折射式波前调制器优化中的具体落地。
  4. 中央凹成像(Foveated Imaging)
    中央凹成像受人类视觉启发,在需要的区域集中高分辨率,现有方法存在固定中央凹、系统复杂等问题,本研究实现了动态、紧凑型的中央凹成像突破:
    传统中央凹成像方法:视网膜式传感器、棱镜阵列 / 里斯利棱镜、3D 打印微透镜系统等,均将中央凹区域硬编码,需机械移动相机才能改变注视点;部分通过动态波前整形实现局部像差校正的方法,或依赖偏振光、带宽受限(SLM),或需折叠光路、系统复杂(反射式调制器),与光学系统小型化目标相悖,且多针对无穷远对焦和固定斜角优化。
    本研究的创新:采用透射式折射波前调制器(DPP) 实现紧凑型、宽波段的中央凹成像;结合可微光学优化方法,可针对不同成像距离定制所需波前,突破了传统方法的场景限制,且无需机械移动即可动态调整中央凹位置。
  • 图 2 (a) 可变形相位板(DPP)器件的物理结构,由可变形薄膜、光学液腔以及集成六边形电极的刚性玻璃衬底构成。本图改编自文献 [Rajaeipour 等人,2021 年]。(b) 通过动态调整可变形相位板的相位图案,可对不同倾斜角度下产生的局部像差进行校正。图中展示了出瞳面上绿色通道的波前像差,以及对应的彩色点列图。

3 基于可微光学的波前优化

本节阐述如何优化可变形相位板(DPP)的波前控制模式,以实现两大目标:(1)将中央凹动态定位在图像中的任意位置;(2)以最少的视场切换次数高效覆盖整个视场。我们为图1所示的光学系统(由消色差双胶合透镜和可变形相位板组成)构建正向模型,支持光线在系统内的追迹。该模型以可微方式实现,能够通过成像损失的反向传播优化DPP的波前参数。各小节安排如下:3.1节详细说明可微光学系统中的DPP模型;3.2节介绍针对斜角中央凹成像的单DPP波前优化方法;3.3节提出在成像数量受限的情况下,为实现中央凹堆叠而联合优化多个DPP波前、以覆盖全视场的策略。

3.1 DPP表面建模

DPP的光流体腔厚度为55μm,可将其视为具备相位调制能力的薄平板。根据费马原理,广义折射斯涅尔定律主导了光线在相位突变下的传播方向。因此,在可微光学系统中,我们将DPP建模为折射面,光线的偏折由其引入的光程差(OPD)决定:

α′=α+∂D(x,y)∂x \alpha'=\alpha+\frac{\partial D(x, y)}{\partial x}α′=α+∂x∂D(x,y)

β′=β+∂D(x,y)∂y\beta'=\beta+\frac{\partial D(x, y)}{\partial y}β′=β+∂y∂D(x,y)

γ′=1−α′2−β′2\gamma'=\sqrt{1-\alpha^{\prime 2}-\beta^{\prime 2}}γ′=1−α′2−β′2

其中,n′=(α′,β′,γ′)T\boldsymbol{n}'=(\alpha', \beta', \gamma')^{T}n′=(α′,β′,γ′)T 和 n=(α,β,γ)T\boldsymbol{n}=(\alpha, \beta, \gamma)^{T}n=(α,β,γ)T分别为入射光线和折射光线的归一化传播方向,DDD代表光程差。为表征DPP生成的波前,我们将光程差参数化为K阶泽尼克多项式的组合:

D(ρ,φ)=∑kKwkZk(ρ,φ)D(\rho, \varphi)=\sum_{k}^{K} w_{k} Z_{k}(\rho, \varphi)D(ρ,φ)=k∑KwkZk(ρ,φ)

式中,ρ\rhoρ为归一化径向距离(以孔径半径归一化),φ\varphiφ为方位角,ZkZ_{k}Zk和wkw_{k}wk为符合美国光学学会(OSA)索引标准的第k阶泽尼克多项式及其对应系数。据此,可推导出光程差关于x、y的偏导数,并由系数 wkw_{k}wk 完成参数化。由于水平和垂直倾斜仅会造成几何畸变(导致图像间不必要的像素错位,而非提升成像锐度),因此这两项被排除在泽尼克系数的优化范围外,固定为0。需要说明的是,本研究不校正透镜的径向畸变,因为只要DPP不引入倾斜,该畸变在整个图像堆叠中会保持一致。关于泽尼克多项式及其导数计算的更多细节见补充材料。

  • 图 3 经校准的仿真系统侧视图。物面设置在 652 毫米处,成像系统包含一片可变形相位板(DPP)、一枚 50 毫米消色差双胶合透镜(索雷博 AC-254-050A)以及一个拜耳阵列 RGB 图像传感器(菲力尔 GS3-U3-41C6C-C)
  • 图 4 针对与光轴呈不同倾斜角𝜙的优化点扩散函数(PSF)与调制传递函数(MTF):(a) 未搭载可变形相位板(DPP)的初始系统表现;(b) 仅对离焦泽尼克参数进行优化,模拟通过调焦手段(透镜平移或液态可调透镜均可实现)能达到的改善效果;© 进行至 4 阶的全泽尼克参数优化结果。调制传递函数(MTF)数值为弧矢分量与切向分量的平均值。
3.2 面向中央凹成像的优化波前

为最大化特定斜角下的成像质量,我们对对应光线进行采样并追迹其通过DPP与透镜组成的光学系统的路径,将均方根(RMS)光斑尺寸作为优化损失函数,通过反向传播优化DPP的波前模式。具体而言,对于距离为 DDD 的采样物点 PPP,在孔径平面采样 NaN_{a}Na 个点 {Pi∣1≤i≤Na}\{P_{i} | 1 ≤i ≤N_{a}\}{Pi∣1≤i≤Na},生成采样光线集 {Ri=Ray(P→Pi)∣1≤i≤Na}\{R_{i}=\text{Ray}(P \to P_{i}) | 1 ≤i ≤N_{a}\}{Ri=Ray(P→Pi)∣1≤i≤Na}。给定特定波长λ\lambdaλ,每条采样光线经光学系统追迹后,将到达像平面的 piλ=RT(Ri;λ)p_{i \lambda}=\text{RT}(R_{i} ; \lambda)piλ=RT(Ri;λ) 位置。以追迹光线相对其中心的径向均方根偏差(即RMS光斑尺寸)作为损失函数,通过反向传播实现最小化。由于RMS光斑尺寸与调制传递函数(MTF)下的面积高度相关,因此成为透镜设计中常用的损失函数。对于彩色图像,需在多个波长对RMS光斑尺寸进行积分计算:

r(P)=13∑λ31Na∑iNa∥piλ−p‾∥2r(P)=\frac{1}{3} \sum_{\lambda}^{3} \frac{1}{N_{a}} \sum_{i}^{N_{a}}\left\| p_{i \lambda}-\overline{p}\right\| _{2}r(P)=31λ∑3Na1i∑Na∥piλ−p∥2

为提升收敛性,对于每一个高阶泽尼克系数,我们将其学习率逐阶降低10\sqrt{10}10 倍。由于水平垂直倾斜项仅会使图像偏移,不会引入光学退化,因此将其排除以避免光线偏折。

为验证DPP的局部像差校正能力,我们按6节所述搭建并校准了实际光学系统(见图3),在水平轴上对9.2°范围内(对应传感器对角线半长RRR)的32个斜角 ϕ\phiϕ 进行采样,对其中5个角度的点扩散函数(PSF)进行可视化(见图4)。调制传递函数(MTF)的平均值计算方式为:先基于相对亮度对RGB通道进行加权平均,再对弧矢和切向MTF取平均。未进行任何优化的初始系统存在严重的离轴像差(图4a);仅调整焦距(等效于仅优化泽尼克多项式中的散焦项)虽能缓解场曲问题(图4b),但无法校正其他像差;而对泽尼克多项式进行4阶全优化,可有效校正这些离轴像差(图4c)。

尽管DPP能对不同斜角ϕ\phiϕ实现有效的局部像差校正,但中央凹的尺寸会随位置变化。图5中,对于每一个优化后的DPP波前模式,我们在外接方形传感器的圆形视场(半径RRR,传感器以灰色方形表示)内,可视化了MTF50(即MTF下降至50% 时的空间频率)的分布。设定特定锐度阈值(如30线对/毫米),将超过该阈值的径向和角向区域提取出来,绘制在归一化的径向-角向坐标系中。归一化半径 ρ\rhoρ 与角度 ϕ\phiϕ 满足关系:ρ=ftan⁡(ϕ)/R\rho=f \tan (\phi) / Rρ=ftan(ϕ)/R,其中fff为有效焦距。研究发现,越靠近视场边缘,锐度覆盖区域越小。经估算,若要使整个方形传感器区域(径向-角向图中灰色阴影部分)的分辨率均超过30线对/毫米,大约需要采集100张图像,相关详细分析见补充材料。为更高效地捕捉全视场的清晰图像,需在锐度和覆盖范围之间进行权衡。值得注意的是,由于某些像差具有已知的对称性,锐度分布往往会在相反方向出现次高峰(如图5a中θ=±π\theta= \pm \piθ=±π处),这一特性具备潜在的利用价值。

  • 图 5 中央凹区域的径向与角向覆盖范围。(a) 对于单幅经优化的可变形相位板(DPP)图案,中央凹区域(定义为调制传递函数 50 值(MTF50)超过 30 线对 / 毫米这类阈值的区域)可通过其在归一化径向轴𝜌和角向轴𝜃上的延伸范围来表征,灰色正方形代表传感器区域。(b) 当经优化的角度向传感器边缘靠近时,中央凹区域会逐渐收缩,因此需要在周边区域采集更多图像,以在代表传感器的灰色区域内保持成像清晰度。
3.3 面向中央凹堆叠的优化波前
3.3.1 感兴趣区域分块

将全视场划分为多个感兴趣区域(ROI),并对各区域独立进行局部像差校正,即可实现全视场的像差校正。为优化距离DDD下某一感兴趣区域内的局部校正波前,在该区域内按网格形式采样MMM个点,将这些采样点的RMS光斑尺寸平均值定义为优化损失函数LROIL_{ROI}LROI:

LROI=1M∑mMr(Pm)(3)L_{R O I}=\frac{1}{M} \sum_{m}^{M} r\left(P_{m}\right) \tag{3} LROI=M1m∑Mr(Pm)(3)

3.3.2 联合优化

尽管通过对网格划分的感兴趣区域进行独立校正可实现全像差校正,但该方法无法有效利用整个图像堆叠中的信息。因此,为在成像数量 NNN 受限的情况下,对全视场的像差校正进行联合优化,我们提出对堆叠后的RMS光斑尺寸网格进行整体优化。

首先,在给定深度的全视场内采样 H×WH×WH×W 的网格点,对 NNN 种不同的DPP波前分别进行光线追迹,并计算对应的RMS光斑尺寸,得到RMS光斑尺寸网格堆叠集{rn(i,j)∈RH×W∣1≤n≤N}\{r_{n}(i, j) \in \mathbb{R}^{H ×W} | 1 ≤n ≤N\}{rn(i,j)∈RH×W∣1≤n≤N}。其中,每个元素rn(i,j)=rn(Pij)r_{n}(i, j)=r_{n}(P_{i j})rn(i,j)=rn(Pij)代表采用第nnn个DPP波前时,采样点PijP_{i j}Pij的RMS光斑尺寸。图像融合后的整体质量取决于堆叠集中每个位置的最小RMS光斑尺寸,即rmin(i,j)=min⁡nrn(i,j)r_{min }(i, j)=\min {n} r{n}(i, j)rmin(i,j)=minnrn(i,j)。因此,为对所有DPP波前模式进行联合优化,我们最小化网格堆叠损失:

Lgs=1H×W∑i,jrmin(i,j)(4)L_{g s}=\frac{1}{H × W} \sum_{i, j} r_{min }(i, j) \tag{4}Lgs=H×W1i,j∑rmin(i,j)(4)

本质上,网格堆叠损失确保了每个波前仅在其在整个堆叠中表现最优的区域被视为优化的有效区域。但优化过程中可能会出现退化模式,即某一波前在图像的任意位置均未优于其他所有波前,导致其无有效优化区域,这种情况在成像数量增加时更易发生。为缓解该问题,我们以rmin/rˉminr_{min } / \bar{r}_{min }rmin/rˉmin为权重,引导这类DPP对成像难度较大的区域进行优化:

Lhr=∑n′1H×W∑i,jrn′(i,j)rmin(i,j)r‾min(5)L_{h r}=\sum_{n'} \frac{1}{H × W} \sum_{i, j} r_{n'}(i, j) \frac{r_{min }(i, j)}{\overline{r}_{min }} \tag{5}Lhr=n′∑H×W1i,j∑rn′(i,j)rminrmin(i,j)(5)

n′∈{n∣∑i,j1(n,n∗)=0}n' \in\left\{n | \sum_{i, j} \mathbb{1}\left(n, n^{*}\right)=0\right\}n′∈{n∣i,j∑1(n,n∗)=0}

其中,1(⋅)\mathbb{1}(·)1(⋅)为指示函数,n∗(i,j)=arg⁡min⁡nrn(i,j)n^{*}(i, j)=\arg\min_{n} r_{n}(i, j)n∗(i,j)=argminnrn(i,j)为采样点的掩码索引,代表该位置成像质量最优的DPP波前编号。联合优化的总损失为上述两项损失之和:

Ljoint=Lgs+Lhr(6)L_{joint}=L_{g s}+L_{h r} \tag{6}Ljoint=Lgs+Lhr(6)

我们利用上述仿真光学系统验证了联合优化方案的有效性(见图6)。实验中,在全视场内采样32×32的网格点,对5种波前模式进行联合优化。优化后的PSF网格呈现出互补分布模式,这是因为掩码索引n∗n^{*}n∗对各DPP波前的梯度进行了差异化屏蔽,使每个波前针对不同局部区域优化。正如预期,PSF网格呈现径向对称性,而动态优化方案可有效利用这一特性,在有限的成像数量下实现全视场覆盖。

  • 图 6 基于网格堆叠法对 5 组可变形相位板(DPP)图案进行联合优化。(b) 优化完成后,每组可变形相位板的形变状态均专门针对不同局部区域实现成像质量优化,同时协同覆盖整个视场。(a) 以第一组可变形相位板图案为例,其能在左上和右下区域实现最优对焦效果。© 将堆叠集中点列图的均方根尺寸最小值 rminr_{min}rmin 作为优化损失函数,而掩码索引 n∗n^{*}n∗ 则标识出针对任一指定区域的最优可变形相位板图案,该索引可用于生成 (d) 堆叠后图像的复合点扩散函数(PSF)分布图。
3.3.3 有限成像数量下的效率

图7 分析了有限成像数量下的成像效率。在成像数量固定时,我们优化DPP波前模式,并以堆叠后全局PSF的平均RMS光斑尺寸(即rminr_{min }rmin的均值,蓝色曲线)评估整体成像质量。感兴趣区域分块法需选择无重叠的区域以覆盖全视场,因此本研究选取2×2、3×3、4×4的成像数量作为对比(红色曲线)。结果表明,联合优化策略仅需3-5张图像即可显著提升成像质量,而分块法的效率则低得多;当成像数量超过10张后,成像质量的提升效果趋于平缓。

4 DPP控制模型

早期研究采用线性模型实现对DPP形变的控制,该模型假设理想的膜片形状与电极电压的平方之间存在线性影响矩阵关系,即:

W=AV2(7)W=A V^{2} \tag{7}W=AV2(7)

其中,W∈RKW \in \mathbb{R}^{K}W∈RK为泽尼克系数,V2∈R63V^{2} \in \mathbb{R}^{63}V2∈R63为电极电压的逐元素平方值,矩阵A∈RK×63A \in \mathbb{R}^{K ×63}A∈RK×63为通过校准得到的影响矩阵。因此,为计算与理想泽尼克系数WWW对应的电极电压,需求解以下带约束的优化问题,使电压值处于物理极限范围[0,Vmax][0, V_{max }][0,Vmax]内:

min⁡∥W−AV2∥22s.t.0<V<Vmax(8)\min \left\| W-A V^{2}\right\| {2}^{2} \quad \text{s.t.} \quad 0 < V < V{max } \tag{8}min W−AV2 22s.t.0<V<Vmax(8)

其中,Vmax=270 VV_{max }=270 \ \text{V}Vmax=270 V 为单个电极的最大工作电压,该模型也已集成至DPP的驱动程序中。

然而,该线性模型存在两大缺陷:其一,由于硬件性能受VmaxV_{max }Vmax限制,在泽尼克空间中难以预判理想的膜片形状是否可在硬件上实现;其二,即便目标形状处于可行范围内,研究发现线性模型在大振幅形变下会失效。为解决上述局限性,本研究提出基于神经网络的控制策略,捕捉器件的非线性特性以提升控制精度,从而缩小物理实现与仿真结果之间的差距。此外,通过直接在电压空间控制膜片形状,可确保理想的波前校正效果具备硬件可行性。

以下各小节安排为:4.1节提出用于DPP控制的神经网络模型;4.2节介绍利用实验装置测量DPP波前的方法,为神经网络训练提供数据;4.3节详述神经网络的训练过程;4.4节对各类控制策略进行分析。

  • 图 8 用于可变形相位板(DPP)控制的神经网络。矩形块代表线性层,激活函数采用 S 型函数(Sigmoid 函数)。解码器的残差设计使其能够在线性模型近似估计的基础上,学习非线性细化策略。
4.1 面向DPP控制的神经网络

为校准波前响应与器件控制电压之间的关系,我们通过实验施加不同的电压,利用定制化波前传感器测量对应的光程差变化。给定已知的孔径尺寸,通过拟合泽尼克系数重建测量得到的波前。收集电压输入与对应泽尼克系数的配对数据集,用于训练编码神经网络,实现对DPP的精准控制。解码器采用双分支架构,由控制电压预测波前系数:线性分支用于建模整体的线性关系,Sigmoid激活的非线性分支用于捕捉残余的非线性偏差。这种残差学习策略基于线性模型的近似估计结果进行优化,仅需对非线性部分进行修正。解码器的输入扩展为 [V,V2][V, V^{2}][V,V2],以提升模式识别能力。与之相对,编码器用于由波前系数预测理想的控制电压,采用简单的两层多层感知机构建非线性映射,最后通过Sigmoid激活层将输出约束在物理电压极限范围内。为保证训练的稳定性,对电压进行归一化处理(V~=V/Vmax\tilde{V}=V / V_{max }V~=V/Vmax)。

4.2 波前测量
  • 图 9 波前测量装置
    (a) 该测量系统的光路。一套空间放大率为 - 2/3 的 4F 系统,将可变形相位板(DPP)器件的光阑面中继至波前传感器。
    (b) 实际实验装置。
    © 可变形相位板(DPP)安装在翻转式调整架上,该调整架可旋转 90°,从而将 DPP 移出光路。

本研究采用编码波前传感器(CWFS)测量DPP的波前变化。如图9所示,4f系统将DPP的孔径成像至编码波前传感器,由自准直仪实现光路对准。焦距分别为150 mm和100 mm的透镜形成 -2/3 的空间放大率,可将DPP的10 mm完整孔径投射至编码波前传感器的大部分感光区域(12.46 × 6.7 mm)。采用准直的520 nm激光作为照明光源,DPP安装在可90°旋转的翻转架上,可将其移出光路,以提供准直波前作为参考,进而由编码波前传感器测量DPP的相对波前变化。从测量得到的相对波前中,在圆形孔径区域内拟合泽尼克多项式,得到对应的泽尼克系数。

4.3 DPP控制模型的训练

在器件的工作范围内随机采样泽尼克系数,采集得到1800组电压-泽尼克系数配对数据,其中80%用于训练,20%用于测试,数据集采集的更多细节见补充材料。为进行对比,我们同时训练了线性解码模型和本研究提出的神经网络(NN)模型。为解决测量误差问题并防止过拟合,在泽尼克系数中加入标准差为0.36的随机噪声以完成数据增强。如图10所示,神经网络模型的训练损失和测试损失均显著低于线性模型,且逼近多次编码波前传感器测量确定的测量极限。在测试集上,线性模型的重建误差(均方根误差)随振幅增大而上升,表明其在大振幅形变下性能较差;而神经网络模型在全形变范围内均能保持稳定的低误差。与线性模型采用约束最小二乘法由理想泽尼克系数计算控制电压不同,本研究训练编码器神经网络,直接由泽尼克系数预测控制电压,该编码器在测试集上的均方根误差为2.56(电压控制单位)。

4.4 控制策略分析

本研究对比了多种由理想目标泽尼克系数WtW_{t}Wt求解对应控制电压的DPP控制策略,以线性控制策略作为基线。如图11所示,"编码器"策略通过编码器神经网络推理,直接预测控制电压VVV;"解码器"策略将VVV初始化为零张量,以WtW_{t}Wt为目标,通过解码器的反向传播对VVV进行优化;"编码器+解码器"策略则将编码器的预测值作为VVV的初始值,再通过解码器进行反向传播优化。在测试集中选取10组已知的电压-泽尼克系数配对数据,分别采用上述各控制策略求解对应的控制电压VVV,将该电压施加于DPP器件后,按4.2节的方法测量得到实际波前VmV_{m}Vm。

表1为各类控制策略的均方误差对比结果,其中重建电压VVV和模型预测的泽尼克波前WrW_{r}Wr在整个测试集(360个样本)上进行评估,实际测量波前VmV_{m}Vm则针对10个目标泽尼克波前进行测试。结果表明,编码器-解码器组合策略的控制电压误差最小,因此能得到最精准的波前测量结果WmW_{m}Wm,尤其能大幅降低高阶泽尼克像差(2阶及以上,不含倾斜)的波前误差。图11为定性对比示例:将63路控制电压以8×8网格形式可视化,最后一个位置置零(注:该网格仅为可视化展示,不代表电极的实际物理布局)。我们利用校准后的仿真模型进一步验证了各控制策略的有效性。如图12所示,目标图像由仿真中理想的波前模式渲染得到,在所有控制策略中,编码器+解码器方法生成的图像与目标图像的匹配度最高。

5 图像堆叠

利用联合优化得到的掩码索引 n∗n^{*}n∗ 进行逐像素融合,是一种直接的图像堆叠融合方法。但硬件的实际缺陷(如波前保真度偏差、校准误差)会导致仿真与实际系统存在差异,若仅使用预优化掩码,会造成成像质量下降。此外,对于拓展景深的应用场景,场景的深度变化具有随机性,因此需要灵活的堆叠融合算法。尽管中央凹堆叠与焦点堆叠在概念上相似,但基于深度学习的焦点堆叠方法通常针对空间不变的圆盘形模糊核训练,其效果相比传统的基于锐度的融合技术提升有限。因此,本研究采用传统的图像融合流水线:通过拉普拉斯滤波器识别图像的清晰区域,再进行模糊处理;融合图像的每个像素由图像堆叠中对应位置的像素加权平均得到,权重由像素的锐度决定,具体实现细节见补充材料。实验表明,该堆叠融合方法虽原理简单,但能有效生成高质量的无像差校正图像。

6 原型系统与校准

  • 图 13 原型系统与校准。本系统由可变形相位板(DPP)、一枚置于变焦镜筒内以实现工作距离可调的消色差透镜,以及一个图像传感器组成。通过匹配采集图像与仿真图像,完成了系统装配距离的校准。

本研究搭建的硬件原型由DPP(Phaseform Delta 7)、双胶合透镜和图像传感器组成。如图13所示,透镜封装在变焦镜筒中,可通过调节后焦距离 dsensord_{sensor }dsensor 适配不同的工作距离。选取50 mm消色差双胶合透镜(索雷博AC-254-050-A),因其结构简单,且具备固有消色差校正能力;采用拜耳阵列RGB传感器(菲力尔GS3-U3-41C6C-C),像素尺寸为5.5 μm × 5.5 μm,分辨率为 2048×2048。该紧凑型成像系统的总长度为15 cm。由于各光学元件通过螺纹镜筒组装,元件间的相对距离需进一步校准。

本研究采用基于图像的校准方法,利用可微光学通过匹配采集图像与仿真图像,优化校准参数,解决相机装置中各部件距离不可测的问题,包括DPP与透镜前表面的距离ddppd_{d p p}ddpp、透镜后表面与传感器的距离dsensord_{sensor }dsensor。成像模型还纳入了像平面与DPP的距离dimgd_{i m g}dimg,以及像中心与物平面和光轴交点的偏移量cimgc_{i m g}cimg。在已知显示屏和传感器尺寸的前提下,对上述参数进行联合优化。为保证校准的鲁棒性,我们采用多种DPP模式采集图像,并通过平移台精确移动像平面。由于显示屏的显示特性与传感器的响应特性存在差异,采集图像与仿真图像的像素值可能不一致,因此采用结构相似性指数(SSIM)对比图像的局部结构,而非直接对比像素值。所有距离参数均通过粗略的物理测量初始化,图像偏移量cimgc_{img }cimg则通过匹配采集图像与已知的屏幕图案,由单应性变换计算得到。

相关推荐
RemainderTime2 小时前
基于 Spring AI + DeepSeek:构建AI Agent 企业级服务与底层原理解析
人工智能·后端·spring·ai
草莓熊Lotso2 小时前
2026年4月UU远程副屏功能测评:多设备协同生态再升级
人工智能
平凡而伟大(心之所向)2 小时前
AI重构制造:2026年工业智能体的实战与进化
人工智能·重构·制造
AI视觉网奇2 小时前
fp8 量化笔记
人工智能·笔记
ai产品老杨2 小时前
异构计算与边缘协同:基于 ARM/X86 的企业级 AI 视频中台架构设计
arm开发·人工智能·音视频
d1z8882 小时前
llama.cpp 性能测试数据汇总 - NVIDIA DGX Spark 对比分析
人工智能·llama·显卡
武汉唯众智创2 小时前
Rust系统安全实训入门:唯众网络安全实训室搭建与边缘节点并发优化实操指南
人工智能·rust·网络安全实训室建设·rust系统安全实训
昨夜见军贴06162 小时前
AI报告文档审核赋能数据不出域:IACheck重构机械制造行业本地化质量管控体系
大数据·人工智能·重构
samoyan2 小时前
OpenClaw 记忆系统设计学习笔记
人工智能