讲讲ISP图像处理中的不适定性问题

最近在看图像处理相关的知识,按照自己的理解记录下图像处理中的不适定性问题吧。

01 什么是不适定性问题

a 不适定性问题的反面:适定性问题

要讲明白什么是不适定性问题,就先来说说它的反面------适定性问题。

一个问题被称为适定性问题,按照法国数学家Jacques Hadamard的定义,需要同时满足下面三个方面的条件:

  1. 解的存在性:对于给定的数据最少存在一个解。
  2. 解的唯一性:解是唯一的(不存在多个不同解)。
  3. 解对输入数据变化的稳定性:当输入数据发生微小变化时,解的结果也会对应地发生连续、稳定的变化。

如果换通俗一点的说法,就是对于一个问题的解存在且唯一,轻微的连续变化不会导致结果产生天差地别的变化。

打个比方:

我们拍摄照片的时候,外界光线通过镜头成像得到的照片就是一个适定性问题:成像即为解存在且唯一,外界轻微的光线影响和噪声不会导致成像发生巨大的变化。

我们采集指纹的时候也是一个适定性问题:采集到了大拇指指纹,说明解存在且唯一;手指受轻微伤、轻微扭曲等也只会轻微影响指纹的纹路。

b 不适定性问题

说完了适定性问题,我们就好讲解什么是不适定性问题了------就是不满足上述任何一个标准的问题都是不适定性问题。

例如,解不存在、解不唯一、微小变化会导致巨大偏差等,都属于此列。

例如,通过有限个采样点还原信号的时候,信号非严格带限的情况下,满足采样点信号是无穷多的。这就与上述的解的唯一性矛盾,因而这并不是一个适定性问题。

因此我们只能遵循一个规律:选择最慢最平滑的信号作为重建的结果,这就导致了还原信号时出现了信号的混叠。

当然理想情况下,即无噪声无限多采样点的情况下,这个问题是适定性问题,这里就不展开了。

还用上面的现实例子的逆过程为例。

没有任何其他先验知识支撑的情况下 (例如没有已知指纹数据库),从一个指纹图片找到对应的人可以看做一个非适定性问题

这是因为:

  1. 这个指纹的图片,可能不属于任何人(不一定有解)。
  2. 理论上,可能会存在多个指纹相似的人(解不一定唯一,虽然现实里概率很小)。
  3. 指纹的微小噪声、残缺,都有可能导致识别结果产生巨大误差(输入数据轻微变化会导致解出现巨大误差)。

而在指纹识别、刑侦调查等领域之所以能通过指纹找到人,是因为提前建立了指纹和人对应的数据库(先验知识支撑) ,整个问题变成了从有限集合里找到对应关系,成为了适定问题(这里只是对问题的适定性和不适定性做简单说明,实际的原理会更复杂一些):

c 不适定问题的适定化

我们来谈谈最后一个问题:如何将不适定问题适定化。

事实上,从上面的例子中大家已经猜到了。

方法的本质只有一句话:通过给原始问题加上"额外规则"和"合理性约束",将"无数种可能"缩小到"几种最合理的可能",并且让微小的误差不会导致答案的剧烈变化。

例如,我们在采集指纹数据库(先验知识)时需要多采集几次、多采集几个手指(增加数据)、比对指纹时认为指纹只匹配数据库里的某个人(增加规则)等。

这么做的结果是,将一个原本猜不出来的问题,变成一个"虽然不能100%确定,但是能给出最合理最稳定答案"的问题

当然这也有极端情况:

某个外星人留下了和数据库中的A一样的指纹,A躺枪。

问某个没有记录的人的出生月日,回答随便一天的正确概率是1/365(不考虑闰年),回答"我不知道"的正确概率是0。

因此,不适定问题的适定化方式也会影响到最终得到的结果。

02 图像处理中的不适定性问题

接下来我们说说图像处理中常见的几种不适定问题。

a Demosaic

在彩色相机中,通过Bayer Filter,每个像素点只记录一种颜色。而理论上,这些像素点没有记录的颜色信息可以有无限多种可能。

甚至,传感器读取到的是一个纯黑图像,我们可以认为原始图像就是纯黑的,也可以认为原始图像是下面这样的:

从上面的角度来讲,这就属于一个不适定性问题------解不唯一。

要将这个问题适定 ,其中一种方法是需要在插值时,结合先验知识对算法进行规定

例如,假设图像的颜色变化是连续的(即不会出现上图那种极端情况);结合传感器噪声和量化误差优化算法、对Bayer Filter后的图像的高频/边缘进行优化等等。

b 图像去模糊

所谓的图像去模糊,就是将拍模糊的图像变清晰。

一般来说,图像模糊的本质表现是高频部分被衰减。

换句话说,就是图像通过了一个低通滤波器,只保留了低频的平滑部分,衰减了高频部分的边缘、细节和纹理。

随便找了个斑马图做了一下滤波:

我们可以看到,在滤波强度逐渐增大的过程中,图片的高频信息被不可逆地丢弃,图片也逐渐模糊。

事实上实际导致图片模糊的情况有很多,其频谱图也不一定如这里的滤波效果那么明显,但是本质上都是图片高频部分细节的损失

另外,之所以JPG被称为有损压缩算法,是因为JPG的压缩过程中,也做了一个低通滤波操作,丢弃了一些细节。

而图像去模糊则是这个过程的逆过程------通过 的方式,将缺少的高频信息补回来 。由于在没有先验条件的约束下,可能的高频信息有无限多种,因此这也是个不适定性问题

而要将这个问题适定化也有一些办法。像所谓的AI变清晰,实际上也是通过补充大量先验知识(AI学习)等方式,来将"猜细节"转换成"从知识库中找到匹配原始细节的规律并填充"实现的。

同样的,在这个过程中,如果采用的适定化算法、方法有问题,则可能会导致出现伪影或幻觉。

c 超分辨率重建

由于超分辨率重建的过程需要通过"无中生有"的方式,去补充缺失的像素信息,因此这也是一种不适定性问题。

而使用不同的插帧方式填充缺少的像素的过程,本质上也是适定化的过程;而插帧方式的不同,也会带来不同的效果和噪声。

d 图像修复、补全

将缺少的图像补全和修复,也是一种不适定性问题。

例如被打上马赛克的图像的恢复。

本质上,打码的过程是用色块中的各个像素的平均值覆盖了原有的信息。

而想从色块平均值中还原出色块里每个像素的信息,自然也是一个无数解的不适定性问题。

类似于我和马云平均XX万------虽然这句话是调侃,但是我们也无法在只知道这个平均值的情况下,得到两个人的确切身价。

之前的文章里提到的Depix算法,其流程中需要使用相同的字体在相同的背景下生成De Bruijn序列图片,并使用相同的马赛克方式来将上面的图片进行打码。

之后算法再根据马赛克的结果从上面的图片中匹配色块------这实际上也是一种通过先验的方式来适定化问题的方法。

放一张官方的原图:

但是实际效果嘛......极其有限,看我那篇文章就知道了。

e 适定性化的影响

最后简单说说在问题适定性化的过程中的影响。

一般来说,在图像处理中要将不适定性问题适定化,就需要想方法通过引入条件等方式来降低其非唯一性、不稳定性等不满足的地方。

而这些不适定性因素,也有可能会给最终结果带来不同的影响。

例如,由于问题的非唯一性可能会导致伪影(伪彩色、摩尔纹等);而不稳定性则会导致微小的噪声被剧烈放大。

同时,在适定性化的过程中,必须加入大量的先验条件或其他因素,而这些条件一定程度上也会影响到最终的成像效果。

03 总结

简单总结一下。

  • 适定问题:解存在、解唯一、解稳定不符合任意条件的就是不适定问题。
  • 解决不适定问题的方式是适定化,即引入额外的先验知识或约束来获得稳定的解
  • 适定化的手段不同,可能会对实际的解产生影响,甚至带来伪影、噪声等现象

顺口溜?这里就放过我吧......

相关推荐
armwind2 小时前
openISP学习14-HSC — Hue/Saturation Control(色调/饱和度控制)
图像处理·计算机视觉
BadTudou12 小时前
滑滑相册清理 -- 超解压的手机相册清理工具
图像处理·产品经理·相册
做cv的小昊2 天前
计算机图形学:【Games101】学习笔记08——光线追踪(辐射度量学、渲染方程与全局光照、蒙特卡洛积分与路径追踪)
图像处理·笔记·学习·计算机视觉·游戏引擎·图形渲染·概率论
ALINX技术博客2 天前
ALINX VD100+Simulink 快速实现 FPGA 图像处理 Sobel 边缘检测
图像处理·人工智能·fpga开发
Together_CZ2 天前
OpenCV 5.0 重磅发布:全面技术深度解析
图像处理·人工智能·opencv·计算机视觉·llm·dnn·推理
weixin_307779132 天前
从切片迷宫到结构化智能:AI Agent解析PDF的完整范式
图像处理·人工智能·python·自动化·ocr
搬砖者(视觉算法工程师)3 天前
计算机视觉与计算摄影测量学第五讲二值图像处理:连通分量、距离变换与形态学算子深度解析
图像处理·三维重建
Esaka_Forever4 天前
png图像的base64 encoding
图像处理
armwind4 天前
openISP学习8-GC — Gamma Correction(Gamma 校正)
图像处理·计算机视觉