成像技术系列-3A算法基础

本章节,相对浅显的总结了一些必备的3A算法基础,对焦技术总结了自动对焦和对焦模式以及常见的对焦算法;曝光介绍了自动曝光和曝光以及测光技术;白平衡总结了自动白平衡和白平衡模式以及色温色调,希望对你了解基础3A有所帮助。

其他平台更新较慢,VX号持续更新,且进行了排版,链接:成像技术系列-3A算法基础

过去两月面试了几轮求职者,经常遇到一些求职者对于基本的影像3A业务都不熟悉,不得不说社招真的希望大家对自己的垂直业务有一些熟悉度再去面试会更好。

CSDN每次都列为VIP内容,可以直接关注VX号免费查看原文:

一、3A基础

掌握3A技术是熟悉影像系统业务的核心,一般在企业内有专门的3A软件和算法工程师,但是同样的作为影像软件了解其技术有助于更好的分析业务情况,3A技术算是影像相关行业的必备业务知识。

摄影爱好者学习摄影都会了解并调参用到3A,但是一般只停留在使用和知道是什么的程度,不知道为什么。

作为影像产品也好或者是影像开发,了解3A的基础原理,有助于内部形成统一的沟通语言,有助于系统性的分析和设计。

影像3A除了了解AF、AE、AWB,从业者需要更进一步了解一些相关的技术有哪些,并知道3A是如何落地到项目中的。

第一部分我们先以单反和手机为例,来介绍一下手机3A的基础包括3A技术的实现有哪些,第二部分介绍3A如何在平台上落地实现的。

高通平台3A多在camx节点和CHI feature集合的vendor侧闭源库,通过statsNode管理统计值,从而调用对应算法,调整需要通过chromatix,chromatix体系与效果模块绑定较深;

联发科平台则使用hal3a来管理3A,hal3a与P1强相关,从而使得HAL还是有一些3A的部分源码存在。

二、对焦技术

对焦技术是指通过调整相机镜头焦点距离实现被摄物清晰成像的技术。

AF自动对焦

自动对焦技术,指目标场景在成像系统中准确清晰成像的自动调节的过程,通常分为主动对焦和被动对焦。

主动对焦依赖某种距离测量方式,如超声或者红外测距,优点是适用不同光照情况;

缺点是需要增加成本和功耗以及距离探测的目标点,另外红外和超声的高反射性无法透过玻璃进行对焦,所以在玻璃外对焦波动就是这个原因。

被动对焦利用投入的光线和图像信息进行分析来调节对焦,包括相位检测对焦PDAF和对比度检测聚焦CDAF。

CDAF

场景光线充足且对比度较高,且对对焦速度要求不高,可以选择反差对焦CDAF。如果拍摄场景光线较暗或对比度较低,且需要快速对焦,那么相位对焦PDAF更为合适,下面是详细的对焦过程介绍。

CDAF对焦过程

根据前后两帧或多帧的图像的对比度计算来控制对焦方向和大小,随着调焦向准确位置越靠近则图像越清晰,则对比度越大。

反差对焦优点无需额外硬件,缺点聚焦慢、对光照敏感所以低光下失效,对无明显纹理比如白色墙面等物体时难以对焦。

深层次原理

反差对焦通过计算成像中相邻像素之间的对比度来确定焦点位置。当图像散焦模糊时,图像的对比度就下降,亮度最大值、最小值之差变小;反差对焦就是依据对比度差值来调焦的。

对比度检测聚焦的关键因素:锐度评价函数、峰值判定和搜索策略。

其中锐度评价函数决定了自动聚焦所能达到的精度。

聚焦峰值搜索决定了自动聚焦的速度,聚焦搜索方法有全行程搜索法、 二分搜索、爬山搜索、自适应规划搜索

图像对比度又称为锐度,用来描述图像细节分辨成都和清晰的度量值,图像锐度越大也就是聚焦值越大,说明越接近准确聚焦的位置,在聚焦范围内,每一个聚焦位置对应一个锐度值,从而形成一个聚焦曲线,锐度值通过锐度评价函数计算所得,良好的锐度评价函数对应的聚焦曲线应该是单峰曲线。

PDAF

PDAF的对焦过程

通过镜头的光束分为两部分,分别在不同的两组成像敏感期上成像,如果对焦准确则两个图像相同,通过比较两个图像而检测这个偏移量就能检测出聚焦的偏离状态。

相位对焦优点对焦迅速准确,缺点需要独特的硬件构造。

深层次原理

在成像传感器的感光元件上预留出一些特殊的遮蔽像素点,这些像素点被专门设计用于相位检测。通过比较每对像素中的光强差异,计算出相位差PD值,从而确定焦点的位置。系统会根据相位差的大小和方向调整镜头的位置,使其向正确的方向移动,直到对焦准确。

对焦模式

常见的对焦模式:AFC连续对焦;AFS单次对焦;MF手动对焦;

这些对焦模式在专门影像类设备中较为常见,其中影视拍摄中跟焦员就是通过MF保证焦点永远清晰;在日常的手机等非专业设备中常使用连续自动对焦,从而保证拍摄简单易行。

使用单反时,单方和镜头时分离的,这时候在选择镜头时,一定要注意镜头是否支持自动对焦;因为对焦是需要控制lens镜头马达实现的,所以需要机身和镜头同时支持,当然如果贪图便宜,纯手动镜头确实是比较便宜,毕竟少了电子电路设计。

三、曝光技术

曝光决定了图像的明暗程度,曝光三要素:光圈快门ISO;

曝光时间越长,光圈越大,则进光量越大,图像越明亮,感光度越高则相片亮度越高。

光圈和景深,光圈越大景深越小。

感光度和图像噪声,增大增益放大图像信号的同时也放大了噪声信号。

曝光补偿,常用的方法使人工反光板以及补光灯,或者就是添加曝光补偿设置,在现有的曝光参数基础上对其施加一定的补偿值,也被称为+EV。

测光技术

常见的测光方式:中央重点平均测光、中央部分测光和点测光。

中央平均测光保持了明亮和暗淡区域的平衡;局部测光使画面中央区域正确曝光;点测光使得被主体正确曝光。

中央平均测光,摄影习惯把需要准确曝光的东西放在取景器的中间,进行亮度分析时把中央部分亮度的权重分配为约70%,周围分配30%进行平均亮度计算。

局部测光测量取景器中央范围内3%~12%的平均亮度。

点测光与局部测光方式类似,只是选取的测光范围更小1%~3%。

尼康的评价测光是分区独立测光后再整体加权计算出整体的曝光,所以也可成为分区加权测光。

AE自动曝光

自动曝光的目标就是使画面正常曝光,不过曝也不欠曝。

自动曝光是根据拍摄现场的亮度估计进行参数调节的策略。

自动曝光可以分为亮度获取、亮度分析、曝光调节。测光就是为了获取亮度,从而用于后续的算法分析和调节。

自动曝光分为光学方式和电子学方式;

光学方式的自动曝光使用单独的光照传感器来测试光照度,从而获取场景的亮度,再结合图像信息和当前3A信息继续进行分析,判断当前曝光参数是否准确,如果不合适则进行曝光参数调节。

电子学方式时直接从sensor的图像信号中获取亮度信息,以及额外提供对场景的分析,减少了测光设计。

电子学方式直接通过镜头测光因此也叫为TTL(through the lens)。

AE通常分为算法模块和统计模块。

算法模块是纯软件模块,不同平台也都有自己的3A算法;统计模块和硬件有关,包含在ISP pipeline中。

AE算法控制一组曝光参数包括:曝光时间、sensor模拟增益、sensor数字增益、isp数字增益。

曝光参数通过配置的sensor驱动写入到sensor寄存器,isp dagin则写入到isp寄存器,从而输出图像。

AE算法的流程:数据通过AE统计模块获取亮度信息,并给到AE算法模块,再实时计算出一组曝光参数,直到曝光正确,循环才结束。

首次上电时,则是从sensor 驱动出会加载一组默认的初始化参数,保证可以正常出图,之后就要通过AE实时调节。

曝光模式

以单反微单为例,都会提供M档 P档 光圈优先 快门优先;

运动模糊要求较高时,选择光圈优先,即优先调价光圈,然后调节曝光时间,最后调节感光度。

当对景深有要求时,选择快门优先,即优先调节曝光时间,然后调节光圈,最后调节感光度。

以手机等非专业设备,普通照片模式,均为全自动档,类似P档,由软件程序选择出当前最优参数进行曝光;但是为了给专业用户更多选择也会提供专业模式,类似与M档,所有参数可调。

曝光锁定是指区分于自动曝光的状态,是其曝光维持在某一个固定状态,从而可以进行创意拍摄。

四、白平衡技术

白平衡决定了图像的偏色程度。

人眼看世界时,不同光线下对相同颜色的感觉基本是相同的,因为人们在成长过程中,大脑已经对不同光线下的物体的彩色还原有了适应性,成为颜色恒常性。但是CMOS等感光元件没有这样的适应能力。sensor无法分辨投射到其上的色光时物体本身的色彩反射还是偏色的环境光造成,为了使摄像机具备颜色恒常性能力所以需要使用白平衡技术。

白平衡技术就是去除环境光的影像,还原物体真实的颜色。

从理论上来看,只要白色调整正确了其他色彩也就准确了。

白平衡调节一般是通过改变红绿蓝三色的比例关系实现。

色温/色调/色彩空间

我们在拍摄阶段使用AWB或手动设置时调整的是色温+色调;图像处理阶段会用到色彩空间转换;编码阶段选择sRGB/Adobe RGB进行编码存储;显示阶段根据显示器支持的色彩空间显示,通过指定色彩空间覆盖对应的显示器色域。

可以用色温表示颜色的冷暖;用色温表示颜色的绿品红偏移;用色彩空间构建颜色的数字标识。

色温表示光源光色的尺度,描述光源本身颜色的物理量,基于黑体辐射理论。单位为开尔文(K)。

低K表示暖色温,是红黄色,高K表示冷色温,是蓝白色。

色调是色温轴之外的另一维色彩偏移,描绘颜色从绿到品红方向上的色偏。

色彩空间是通过数学模型定义具体颜色的坐标系统,常见的有sRGB、Adobe RGB、DCI-P3、Rec.2020,在进行色彩科学研究时常使用CIE XYZ 色彩科学基准。

AWB自动白平衡

白平衡技术的关键围绕能否正确估计环境色上,自动白平衡的关键点在于不同白平衡技术采用不同的方法来寻找画面中的白平衡基准点,以此来达到白平衡调教。使用18%灰卡作为白平衡参照。

基于图像统计特征的方法-灰世界法

最常用的AWB算法假设:场景中的平均反射率是中性灰。算法通过调整RGB通道增益,使整幅图像的平均颜色趋近灰色。

灰世界法认为场景中所有物理表面的平均反射是灰色的,可以取RGB三通道的平均颜色作为光照估计。

灰世界法适合反色面足够丰富,细节很多的场景,不适合大面积单色的物体。

白点检测认为一个图像中,RGB颜色通道的最大响应是由场景中的白色表面引起,找图像中最亮的区域假设为白色,因此直接取RGB三个颜色通道中的最大值作为对光照的估计。

基于学习训练的方法

通过训练集训练得到训练模型,通过训练集学习得到关于光照的先验信息然后对未知光源下的色光进行估计,基于学习训练的方法使用贝叶斯统计理论或者神经网络等机器学习方法。

白平衡模式

白平衡调节主要有三种方式:预设白平衡、手动白平衡、自动白平衡。

常见于一些相机设备中,为了便于摄影师不清楚如何选择和调整色温,影像设备会预设一组参数。

比如预设一些白平衡模式日光- 约5200K、阴天 (Cloudy) - 约6000K、钨丝灯 (Tungsten)- 约3200K、荧光灯 (Fluorescent)- 约4000K;

当然也会预留自定义模式,可以自由调整色温和色彩。

五、总结

最近稍有懈怠,因为也在不断探索,AI这么发达了,我们技术人员或者内容创作者的价值在哪里?

一边摸索一边前行,我当前的答案是我们的内容是体系化的,内容深浅程度和知识边界,还是需要我们这些创作者,毕竟AI只是人工智能,我知道它应该支持它才知道,共勉!

本章主要介绍3A的基础,如果你是影像行业的从业者,建议这类知识都补齐。

下半章,是关于这些3A技术是如何在高通和联发科的芯片平台上落地,通过软件和硬件实现的。
Android影像基础-3A在系统平台中的实现

通过以上的3A基础,希望你对此有所了解,再深层次,建议阅读对应的书籍进行研究;相比AI书籍构建的体系更加完整。

相关推荐
一笑的小酒馆1 分钟前
Androidiot扫地机器人设备详情页地图加载慢卡顿优化方案
android
盼小辉丶37 分钟前
PyTorch计算机视觉(5)——生成对抗网络(Generative Adversarial Network,GAN)
pytorch·生成对抗网络·计算机视觉
Zhu7586 小时前
在k8s集群部署MySQL单实例,支持多个主流发行版
android·mysql·kubernetes
AFinalStone9 小时前
Android 7系统异常问题排查(四)Framework层(上)—System Server Watchdog
android·系统异常
宝杰X711 小时前
Android Room3 多平台数据库
android·数据库
huibin14785236913 小时前
热缓解学习记录
android·学习
≮傷£≯√15 小时前
opencv 调节图片对比度和亮度
人工智能·opencv·计算机视觉
Microvision维视智造16 小时前
近十年视觉市场变化趋势分析——客户需求的三次跃迁
人工智能·计算机视觉·视觉检测·机器视觉
小田的博客16 小时前
SAP MM 供应商银行主数据更新报错!message R1228!
android·java·服务器
一笑的小酒馆17 小时前
Android智能猫砂盆视频加载慢卡顿问题分析
android