ISP基本原理和实现(AI-ISP的引入)

【 声明:版权所有,欢迎转载,请勿用于商业用途。 联系信箱:feixiaoxing @163.com】

isp本身不是一个新方向,而且isp存在的时间按也不短了。特别是2000年之后,随着手机开始携带camera之后,camera本身更是有了一个长足的发展。camera是越做越大、像素越来越高、个数也越来越多,这些都是看得到的进步和提高。但是camera放在手机上也有很多的局限,比如镜头不能太大、sensor不能占据空间太多、夜景模式比较差等等,这些都是camera处理的一些痛点。比如在噪声抑制方面,人们想了很多的办法,其中ai-isp就是一个基本的方向。

1、基于参数的ai-isp

传统的isp,都是先搭建好环境,用上位机工具做好裸图的标定,再做好isp其他模块的标定。主要评判的标准还是人。**但是现在有一种思路,就是用ai来进行标定,不需要人来进行标定。**特别是把isp后边部分的标定全部由工具去完成,这就是一种ai-isp的处理方式,并且很多soc公司也是这么来做的。即ai不直接处理图像,而是通过优化现有模块参数的方法,来实现isp标定。

2、部分代替isp的ai模式

和前面一种方式有区别,这里ai会直接处理图像,有可能出现isp1-》ai1-》isp2这种情况。也就是说,ai的输入是图像,输出也是图像。整体isp处理过程当中,最难的部分就是3a+噪声控制。所以,人们自然而然想到的方式,就是用ai去做最难的那部分工作。其他部分,还是采用传统isp的技术来完成。大一点的soc公司、手机公司以及国际大厂,基本上都是这一思路的践行者。

3、全流程ai-isp

全流程ai-isp是一种理想情况。它的初衷很好,也即是裸图进来之后,没有isp,直接大模型处理后就是一张合格的图片。这部分内容,虽然很多国际大厂在做,特别是互联网大厂,但是至今为止能够达到产品级要求的model,还没有量产。不过,随着代替isp的ai model越来越多,整体图像调试ai化、自动化,也是发展的一个趋势。

4、一个sensor一个model

**和传统的定位、识别分类model不一样,ai-isp需要一个sensor,一个model。**也就是说,A公司sensor匹配的model,是没有办法用到B公司的sensor上面的。所以,很多大厂soc的培训资料里面,大家会发现不同的sensor目录里,除了驱动代码、isp配置文件,还会在对应的目录里面发现各种各样的model,或者是bin文件,正是这些model,帮助我们拓展了isp的适用范围。

5、夜景模式

传统的图像就是一个光和电的艺术。光是来自于镜头,要拍摄好的图像,那么就要合理控制曝光量,这是基础。到了夜景模式,这一矛盾被迅速放大,要拍到好的图片,那么就需要更长时间的曝光,但是曝光时间过长噪声就会很多、很难抑制,这就是鱼和熊掌的关系。但有了ai model之后,大家发现夜景模式有了很大的改善,甚至于极端一点,夜景可以做的和白天一样,这对安防场景,还是汽车自动驾驶来说,都有很大的裨益,也是ai-isp企业最乐于推荐的使用场合。

相关推荐
星核0penstarry4 天前
企业 API 向后兼容实战:版本控制、废弃字段通知与灰度发布策略
人工智能·后端·api·接口隔离原则·版本控制·架构设计·后端架构
OCR_133716212756 天前
户外强光下护照OCR为什么崩?从ISP到边缘AI,拆一下ER阅读器的抗眩光架构
人工智能·ocr·接口隔离原则
ccbw166 天前
CH634 四端口 USB3.0 HUB 控制器方案拆解与国产替代选型
接口隔离原则·摄像头
xunyan62349 天前
4-2 动态数码管显示(SDCC + Notepad++ + STC-ISP/普中ISP)
接口隔离原则
xunyan623417 天前
4-1 静态数码管显示(SDCC + Notepad++ + STC-ISP/普中ISP)
接口隔离原则
xunyan623418 天前
3-1 独立按键控制LED亮灭(SDCC + Notepad++ + STC-ISP/普中ISP)
单片机·嵌入式硬件·接口隔离原则
kyle~19 天前
实时系统通信抖动(Jitter)
计算机视觉·机器人·接口隔离原则·传感器
xunyan623419 天前
3-1 独立按键控制LED状态(SDCC + Notepad++ + STC-ISP/普中ISP)
notepad++·接口隔离原则
xunyan623419 天前
3-3 独立按键控制LED显示二进制(SDCC + Notepad++ + STC-ISP/普中ISP)
接口隔离原则
xunyan623420 天前
51 单片机LED流水灯(SDCC + Notepad++ + STC-ISP/普中ISP)
单片机·嵌入式硬件·接口隔离原则