计算摄影与成像--概述

  • 上帝说,要有光,才能创造丰富多彩的大千世界
  • 摄影师说,要有光,才能创作让人赏心悦目的影像世界
  • 工程师说,要有光,才能打开奇妙的计算摄影之门

我们所处的世界,其实是被各种各样的光,或者严格来说,是各种各样的电磁波所围绕的,只是人眼能够感知的只是电磁波整个波段里非常狭窄的一段,一般被称为可见光。

光,从宇宙创世之初就一直存在;人类研究光,从古希腊的先哲们开始,有几千年的历史;而人类用光来进行绘画,从十五世纪文艺复兴开始,有几百年的历史;人类用光来进行摄影,迄今大概两百多年的历史;而计算摄影,大概就是从 21 世纪开始,迄今二三十年的历史。

摄影,是一种技术与艺术相结合的创作,回顾不算漫长的整个摄影发展历史,诞生了很多杰出的摄影作品,摄影大师,摄影技巧,这个是以人为中心的发展脉络;与此并行的,是另外一条以机器为中心的发展线,伴随着摄影史的发展,是相机史的并行演进,从胶片时代的柯达巨头,到数码单反时代的日本御三家,到如今移动摄影时代的各种手机。对光的捕捉,也经历了从化学反应到物理光电感应的过程。器件越做越小,功能越来越强大。

不过,所谓众里寻他千百度,蓦然回首,那人却在灯火阑珊处。不管是以人为本,还是以机器为中心,我们追求的,还是按下快门的那个当下,那一瞬间的感受。想把那一刻的环境真实的记录下来,光影,色彩,明暗,细节,动静。而所有的这些元素,都可以认为是环境光场的某个维度,如果环境光场是一个高维空间的话,那我们关心的这些元素可以认为是这个高维空间的一个切片,或者在某个维度的一个投影。

环境光场,顾名思义,是环境中整个光的信息的一个分布,这个光的信息的分布,称为光场。一个经典的数学定义如下所示:

L ( x , y , z , ϕ , ψ , λ , t ) (1) \mathcal{L}(x, y, z, \phi, \psi, \lambda, t) \tag{1} L(x,y,z,ϕ,ψ,λ,t)(1)

从上面的表达式中,我们可以得到空间位置信息 ( x , y , z ) (x, y, z) (x,y,z),方向角度信息 ( ϕ , ψ ) (\phi, \psi) (ϕ,ψ),波长频率信息 λ \lambda λ, 以及时间信息 t t t。

摄影,就是要把环境光场的信息进行重建,将当下的这一刻记录下来。

计算摄影与成像的整个过程可以表示为如下流程:

如上图所示,首先是对环境光场的信号表示,环境光场含有丰富的各个维度的信息,包括空间位置,时序变化,频谱波长,方向角度,强度能量,这些信息接下来需要用各种各样的硬件来进行编码,比如我们常见的光学镜头,就是对光线的一个汇聚,变焦放大的作用,CMOS 传感器可以对环境中物体的位置,光谱以及能量强度进行编码,从而获取颜色信息;然后激光雷达,TOF 可以对环境中物体的深度进行编码,此外还有偏振信息,多视角的信息,这些通过不同的硬件实现对不同维度的信号编码;接下来,就是算法解码,由于硬件本身的不完美,或者各种物理约束的影像,硬件编码的信息可能不全,或者存在噪声,算法需要对这些编码信息进行去噪,复原,增强。最后,就是视觉感知,视觉感知可以分为人眼的视觉感知,就是我们常说的摄影,摄影主要是为人眼感知服务的,人眼感知涉及到人眼的视觉成像机理,以及人类的心理主观感受等。还有一大类是机器感知,又叫机器视觉,最常见的就是自动驾驶,机器人等场景,机器视觉为后续的感知,决策,行动等提供非常重要的信息输入。

所以说,计算摄影与成像是一个包含多个学科的交叉学科,需要有硬件以及算法的相关基础知识,从前端的光学,传感器,到后端的信号与图像处理,计算机视觉,以及机器学习,优化等知识,还涉及心理感知的相关知识。

  • 对于光学部分来说,需要了解光学镜头的基本性质,包括 FOV,焦距,像高,等效焦距,透视关系,光学像差,光学解析力,PSF, MTF,衍射极限,公差,光圈,景深,焦深等
  • 对于传感器来说,需要了解不同的 Bayer pattern,RAW 数据的格式,传感器的光谱响应曲线,噪声模型,sensor 的解析力,动态范围,宽容度,ISO,曝光模式,以及新型的传感器包括高动态传感器,事件传感器等
  • 对于信号与图像处理,需要了解信号采样,传统的图像处理技术包括对比度增强,滤波算法,色彩空间,tone mapping 算法,插值算法,多帧融合,降噪算法等。
  • 计算机视觉,主要关注 low level 视觉的相关算法,包括降噪,超分,去马赛克,多帧融合,HDR,特征点匹配,配准,光流估计等技术。
  • 计算机图形学,主要关注光线追迹,渲染,3D 重建等相关技术。
  • 机器学习,优化,计算摄影的很多问题都可以看成是逆问题的求解,所以与优化有天然的联系,而进入深度学习时代,基于数据驱动的深度学习方法也为计算摄影带来了很多效果上的提升。
  • 心理感知,一个最典型的案例就是人眼的颜色常恒性与白平衡,此外还有很多亮度,色彩相关的心理感知模型,这些感知模型指导着计算摄影的效果目标往什么方向演进。
相关推荐
Matrix_111 个月前
论文阅读:Auto-Directed Video Stabilization with Robust L1 Optimal Camera Paths
论文阅读·计算摄影
Matrix_113 个月前
论文阅读:Multi-Spectral Image Color Reproduction
论文阅读·人工智能·计算摄影
Matrix_115 个月前
论文阅读:VGGT Visual Geometry Grounded Transformer
论文阅读·计算摄影
AndrewHZ7 个月前
【图像处理基石】什么是EIS和OIS?
图像处理·计算机视觉·isp·防抖·计算摄影·ois·eis
Matrix_118 个月前
论文阅读:Matting by Generation
论文阅读·人工智能·计算摄影
Matrix_1110 个月前
论文阅读:Invertible Grayscale
人工智能·计算摄影
Matrix_1110 个月前
论文阅读:GS-Blur: A 3D Scene-Based Dataset for Realistic Image Deblurring
论文阅读·人工智能·计算摄影
Matrix_1110 个月前
论文阅读:Self-Supervised Video Defocus Deblurring with Atlas Learning
人工智能·计算摄影
Matrix_1110 个月前
论文阅读:Deep Hybrid Camera Deblurring for Smartphone Cameras
人工智能·计算摄影