ISP基本原理和实现(AI-ISP的引入)

【 声明:版权所有,欢迎转载,请勿用于商业用途。 联系信箱:feixiaoxing @163.com】

isp本身不是一个新方向,而且isp存在的时间按也不短了。特别是2000年之后,随着手机开始携带camera之后,camera本身更是有了一个长足的发展。camera是越做越大、像素越来越高、个数也越来越多,这些都是看得到的进步和提高。但是camera放在手机上也有很多的局限,比如镜头不能太大、sensor不能占据空间太多、夜景模式比较差等等,这些都是camera处理的一些痛点。比如在噪声抑制方面,人们想了很多的办法,其中ai-isp就是一个基本的方向。

1、基于参数的ai-isp

传统的isp,都是先搭建好环境,用上位机工具做好裸图的标定,再做好isp其他模块的标定。主要评判的标准还是人。**但是现在有一种思路,就是用ai来进行标定,不需要人来进行标定。**特别是把isp后边部分的标定全部由工具去完成,这就是一种ai-isp的处理方式,并且很多soc公司也是这么来做的。即ai不直接处理图像,而是通过优化现有模块参数的方法,来实现isp标定。

2、部分代替isp的ai模式

和前面一种方式有区别,这里ai会直接处理图像,有可能出现isp1-》ai1-》isp2这种情况。也就是说,ai的输入是图像,输出也是图像。整体isp处理过程当中,最难的部分就是3a+噪声控制。所以,人们自然而然想到的方式,就是用ai去做最难的那部分工作。其他部分,还是采用传统isp的技术来完成。大一点的soc公司、手机公司以及国际大厂,基本上都是这一思路的践行者。

3、全流程ai-isp

全流程ai-isp是一种理想情况。它的初衷很好,也即是裸图进来之后,没有isp,直接大模型处理后就是一张合格的图片。这部分内容,虽然很多国际大厂在做,特别是互联网大厂,但是至今为止能够达到产品级要求的model,还没有量产。不过,随着代替isp的ai model越来越多,整体图像调试ai化、自动化,也是发展的一个趋势。

4、一个sensor一个model

**和传统的定位、识别分类model不一样,ai-isp需要一个sensor,一个model。**也就是说,A公司sensor匹配的model,是没有办法用到B公司的sensor上面的。所以,很多大厂soc的培训资料里面,大家会发现不同的sensor目录里,除了驱动代码、isp配置文件,还会在对应的目录里面发现各种各样的model,或者是bin文件,正是这些model,帮助我们拓展了isp的适用范围。

5、夜景模式

传统的图像就是一个光和电的艺术。光是来自于镜头,要拍摄好的图像,那么就要合理控制曝光量,这是基础。到了夜景模式,这一矛盾被迅速放大,要拍到好的图片,那么就需要更长时间的曝光,但是曝光时间过长噪声就会很多、很难抑制,这就是鱼和熊掌的关系。但有了ai model之后,大家发现夜景模式有了很大的改善,甚至于极端一点,夜景可以做的和白天一样,这对安防场景,还是汽车自动驾驶来说,都有很大的裨益,也是ai-isp企业最乐于推荐的使用场合。

相关推荐
嵌入式-老费11 小时前
ISP基本原理和实现(ISP的输入和输出)
接口隔离原则
嵌入式-老费2 天前
ISP基本原理和实现(算法举例分析)
接口隔离原则
嵌入式-老费3 天前
ISP基本原理和实现(添加自己的算法及测试)
接口隔离原则
大熊背4 天前
ISP基本框架及软硬件算法实现介绍目录
网络·接口隔离原则
嵌入式-老费4 天前
ISP基本原理和实现(代码流程)
fpga开发·接口隔离原则
嵌入式-老费4 天前
ISP基本原理和实现(isp中的反馈机制)
接口隔离原则
blueSatchel13 天前
STM32F4系列使用ISP下载后,导致芯片被读写保护,无法烧录程序
stm32·嵌入式硬件·接口隔离原则
__万波__15 天前
七大设计原则(二)--接口隔离原则ISP
接口隔离原则
口袋物联1 个月前
图解码说-六大设计原则(开闭原则、单一职责原则、里氏替换原则、接口隔离原则、依赖倒置原则、迪米特法则)
接口隔离原则·依赖倒置原则·里氏替换原则·开闭原则·单一职责原则·设计模式原则·迪米特法原则