EDoF-ToF: extended depth of field time-of-flight imaging解读, OE 2021

1. 核心问题:iToF相机的"景深"死穴

我们之前已经详细讨论过,iToF相机的"景深"(有效测量范围)受到光学散焦的严重制约。

  • 问题根源: 当iToF相机的镜头散焦时,来自场景不同深度的光信号会在传感器像素上发生混合(信号污染/Optical Crosstalk)
  • 后果: 传感器像素测量的不再是单一深度的纯净相位信息,而是一个被污染的、错误的平均相位。这会导致在深度边缘产生**"飞点"(Flying Pixels)严重的深度测量误差**。
  • 传统困境:
    • 大光圈(如f/1.4): 进光量大,信噪比高,适合远距离或暗光环境。但光学景深极浅,散焦问题非常严重。
    • 小光圈(如f/8.0): 光学景深大,散焦问题缓解。但进光量急剧减少,导致信噪比极低,在远距离或暗光下几乎无法工作。

这个"景深-信噪比"的矛盾,是所有iToF相机在设计时都必须面对的、无法两全其美的根本性权衡。

2. 本文解决方案:EDoF-ToF 硬件-软件协同系统

这篇文章提出的EDoF-ToF系统,旨在彻底打破上述的权衡关系,实现一个**既有大光圈(高信噪比),又能抵抗散焦(大有效景深)**的iToF相机。

其核心思想与EDoF投影仪一脉相承,但应用在成像端:

硬件端:学习一个"深度不变"的成像PSF

  1. 定制的衍射光学元件 (DOE): 他们在iToF相机的镜头前,放置了一块经过特殊设计的DOE。这个DOE的作用,是对进入相机的光场进行相位调制。
  2. AI设计DOE: 同样地,他们建立了一个端到端的可微分模型,该模型模拟了光线从场景发出 -> 通过DOE和镜头 -> 在传感器上形成点扩散函数(PSF)的全过程。
  3. 优化目标: 优化的目标是让这个PSF具备两个关键特性:
    • 深度不变性 (Depth-invariance): PSF的形状不随物体的远近而发生剧烈变化。
    • 紧凑性 (Compactness): PSF的能量要尽可能集中,不能过度弥散,以免过度降低对比度。
  4. 最终产物: AI最终设计出的DOE,能将传统镜头随深度变化的"高斯状"模糊PSF,转换成一个在很大深度范围内都保持形态一致的、经过编码的"工程化PSF"(Engineered PSF)。

软件端:利用PSF先验知识进行解码

由于光学硬件产生的PSF是已知且深度不变的,软件算法就可以利用这个强大的先验信息来"解开"信号污染。

  1. 建立前向模型: 他们建立了一个精确的物理模型,描述了场景的真实深度和反射率,在经过这个已知的、深度不变的PSF模糊后,会如何在iToF传感器上产生测量的原始相关数据(相位、幅度和偏移量)
  2. 反问题求解 (Inverse Problem): 深度重建过程就变成了一个求解反问题的过程。算法的任务是:"寻找一个什么样的真实场景(深度图和反射率图),在经过我们设计的EDoF光学系统成像后,会产生我们实际测量到的这些被'编码污染'的数据?"
  3. 高效重建网络: 他们设计了一个轻量级的神经网络,该网络学习如何高效地执行这个反演过程,从传感器读出的原始数据中,同时恢复出无失真的深度图清晰的反射率(幅度)图

3. 核心创新与实验效果

  • 打破权衡: 实验结果惊人。他们的EDoF-ToF系统原型,使用了一个f/1.4的大光圈镜头 ,但在深度测量的准确性上,却媲美甚至超越了 使用f/8.0小光圈 的传统ToF相机。这意味着,它在享受大光圈带来的高信噪比(进光量是f/8的32倍!)的同时,几乎完全免疫了光学散焦带来的深度误差

  • 全场景鲁棒性:

    • 复杂边缘: 在人和背景、物体和桌面的复杂边缘处,传统ToF相机产生了大量的飞点和扭曲,而EDoF-ToF系统恢复的边缘则干净利落,深度准确。
    • 细小结构: 对于场景中的细小物体(如栏杆),传统大光圈ToF相机由于散焦,几乎无法分辨其深度,而EDoF-ToF则能清晰地重建其三维结构。
    • 全深度范围: 从几十厘米的近处到数米的远处,系统都能保持很高的深度精度。

4. 分析与意义

这篇文章是计算成像领域**"软硬件协同设计"**思想的又一个巅峰之作,其意义深远:

  1. 解决了iToF的核心痛点: 它从根本上解决了困扰iToF相机多年的"景深-信噪比"矛盾,为设计新一代高性能iToF传感器指明了方向。

  2. 极大的应用价值:

    • 自动驾驶LiDAR: 未来的车载LiDAR可以采用更大光圈的光学设计,从而看得更远、更清楚,同时不必担心近处物体的深度失真问题。这对于探测远处的微小障碍物和处理近处的复杂场景(如行人、自行车)至关重要。
    • AR/VR头显: 用于手势追踪和环境感知的iToF相机可以做得更小、更省电(因为进光效率高),同时精度更高,带来更流畅、更真实的交互体验。
    • 机器人和无人机: 在复杂的室内或室外环境中,机器人可以更可靠地进行导航和避障,因为它获得的深度信息更加干净和准确。
    • 消费电子: 手机上的ToF相机可以实现更精准的人像虚化、更逼真的3D扫描。
  3. 范式引领: 它再次证明,通过AI设计传统光学无法实现的"不可能"光学元件(Computational Optics),再结合匹配的解码算法,是突破现有成像系统物理极限的最有效途径。这种"端到端联合优化"的范式,将持续引领未来光学和成像系统的发展。

结论: 《EDoF-ToF》这篇文章通过将创新的大景深计算光学ToF深度感知相结合,打造出了一款性能远超传统设计的iToF相机原型。它不仅在学术上展示了计算成像的强大威力,更在工程上为解决自动驾驶、AR/VR等关键领域的实际问题提供了一个极具潜力的解决方案,是2024年ToF成像领域最值得关注的突破之一。

相关推荐
微笑伴你而行8 小时前
Entire-barn dairy cow tracking framework for multi-camera systems
数码相机
格林威18 小时前
常规的变焦镜头有哪些类型?能做什么?
人工智能·数码相机·opencv·计算机视觉·视觉检测·机器视觉·工业镜头
格林威20 小时前
机器视觉的工业镜头有哪些?能做什么?
人工智能·深度学习·数码相机·算法·计算机视觉·视觉检测·工业镜头
云风xe20 小时前
从chatGPT获取的关于相机焦距与其他参数的关系
数码相机
格林威3 天前
常规可见光相机在工业视觉检测中的应用
图像处理·人工智能·数码相机·计算机视觉·视觉检测
格林威3 天前
短波红外相机在工业视觉检测中的应用
人工智能·深度学习·数码相机·算法·计算机视觉·视觉检测
格林威3 天前
UV紫外相机在工业视觉检测中的应用
人工智能·深度学习·数码相机·算法·计算机视觉·视觉检测·uv
格林威3 天前
近红外相机在机器视觉检测中的应用
人工智能·数码相机·opencv·计算机视觉·视觉检测
格林威3 天前
不同光谱的工业相机有哪些?能做什么?
图像处理·人工智能·深度学习·数码相机·计算机视觉·视觉检测
格林威3 天前
MP偏振相机在工业视觉检测中的应用
人工智能·数码相机·opencv·计算机视觉·视觉检测·uv