⚡ AI-ISP最新行业趋势分析 ⚡
本文主要介绍AI-ISP的诞生背景、对NPU算力要求、落地难点、夜间全彩成像以及未来发展趋势。
TOC
1️⃣ ISP 流程简介
- ISP主要用于对从传感器中读取的原始图像数据进行预处理和优化，以提高图像的质量和清晰度。它可以进行白平衡、曝光控制、色彩校正、锐化、降噪等处理，从而产生高质量的图像。
2️⃣ AI-ISP 诞生背景
- 照度(Lux)是判断光照场景的主要指标，人眼能感受色彩低照度的极限为1Lux，市场上夜视相机的极限光照度基本在0.01Lux。不过，随着智能化设备的普及，一些设备开始要求能够在0.0005Lux，甚至是0.0001Lux这样的超低照度场景下精准地捕捉信息。这样的应用有很多，比如无人机航拍、森林防火、旷野安防，以及自动驾驶场景，等等。超低照度的应用场景加重了ISP工作的负担，甚至是已经超出了传统ISP的性能范围，这便是AI ISP诞生的背景。
- 利用AI算力深度学习海量场景和数据，智能调优复杂参数，输出算法模型辅助图像处理，使图像质量获得大幅改善。AI与传统ISP的结合趋势在手机中非常突出，并且也在走入安防、无人机等领域。暗光条件下的降噪、对比度增强和场景的提亮，AI ISP在这三个方面的表现超过了传统的ISP。
- 在不少应用中，得到了端侧大算力的支持，AI ISP的强大功能就可以得到全部发挥，获得比传统ISP更优的效果。但这是否意味着AI ISP可能全部取代传统ISP呢？答案可能并非如此
- AI-ISP的定义，是完成从感光芯片到成像过程的一整个算法集合体，包含20-30个算法。凡利用AI解决的问题与这20-30个成像任务相关，如降噪、锐化、HDR等，那么就可以被认为是在解决AI-ISP的问题。
- 二者区别如下
3️⃣ NPU 算力要求
- 芯片算力预留上能够给AI ISP的空间较小：摄像头分辨率的选择、是否需要开启视频编解码功能满足视频的本地存储，每增加一个模块，功耗就会上升。比如，嵌入式应用中的15×15m㎡封装尺寸SOC芯片，功率上限是4 ~ 5w，2 ~ 2.5w用于视频处理，2.5w用于NPU，如果功耗需要控制在2~3w，对于NPU算力就有更严苛的要求，而NPU正是AI ISP的AI核心。
- 由于 ISP 任务的计算量巨大且强度大，因此通常将任务分区为在许多 NPU 内核上执行。进入NPU内核的输入侧存在大量图像重叠。即使对于神经网络内部的 3×3 卷积层，仅对几个像素的重叠要求也可能导致整个网络层面的巨大重叠。需要尽量减少重叠，以减少系统的内存、功耗和计算需求。这样做的方法是通过层级重叠共享。
- AI 计算革命将突破传统成像系统天花板
4️⃣ AI-ISP 落地难点
- 神经网络实现的 AISP 很难调试
由于不同产品应用对图像的要求不一，因此芯片厂商基本都会预留大量参数，以供产品厂商再做调整，调试出具备自身风格的图像。然而，对于使用 ISP 芯片的厂商们来说，想要对一整个神经网络进行调整，为此专门另招专业的算法工程师并不切合实际，此外也根本没有数据对图像风格进行调整。
在大摄像头行业的工程调试过程中，由于采用了新的ISP和AI ISP技术，新一代的传感器与上下游的整合是一个非常大的问题。譬如，手机厂商发布一款新的摄象头，可能采用索尼或者三星的最新一代产品，它要适应这颗新的摄象头大概需要800-2000个算法工程师做调试，大概有3000-4000个参数需要调整，要在500-1000个场景下调试这3000个左右的参数，为了在每一个场景下保证图像的一致性，需要耗费大量的人力。
- 通过神经网络实现整个ISP，难度太大且不必要
只需做跟图像质量相关的关键ISP环节，如降噪、HDR、3A等 AI 化，就能立刻提升图像质量，而不必对整个ISP进行神经网络化。目前大多数业界针对AI-ISP的研究，都只将少数模块AI化，大多数芯片厂商只处理其中的一部分任务，仍然留很多参数，让下游产品厂商做调整。
5️⃣ AI-ISP 局部融合
- 去除图像中的坏点，做一些简单的颜色空间转换，整体的亮度拉升，传统的ISP算法已经做得很好，业界还是倾向于对其进行保留
- AI图像处理更适合在降噪、低光照、暗光提亮等方面，而传统ISP在正常情况下已经达到人眼视觉的效果，AI ISP将更多扮演功能补足的角色，两者将长期共存。
以视频中的运动场景为例，传统ISP需要借助AI ISP技术，将运动物体、其拖影、背景做相应的识别分离，再利用传统ISP进行调试。这对于汽车电子尤为重要，因为其对产品效果和实用性有极高要求，拖影识别会影像对前方物体位置的判断，整体影响汽车行路安全性的判断。
这就是最常见的以传统ISP为主，AI ISP为辅的合作模式。具体而言，针对性场景通过图像调试工程师算法调参的方式人为把控，达到效果最优化。AI ISP主要处理超感光降噪，低照度甚至暗光场景，或针对传统ISP目前薄弱的环节，为AI ISP提供优劣对比明显的图像数据集对其进行精确训练。
- 超感光降噪降噪对比
- 降噪后目标检测对比
- 双光融合效果对比
- 视频画质提升对比
- 夜间实时全彩成像对比
6️⃣ AI-ISP 夜间全彩成像
根据业界的AI ISP技术，AI成像具有颠覆性的四大优势：
1、其中，全彩实时成像能够提高30%的目标识别速度，减少60%的识别错误；
2、夜间高分辨率>200万像素全彩成像，从"看得见"到"看得清"；
3、全天候应用结构化数据应用由12小时延伸至24小时；
4、性价比高，无需补光，能耗低，结构简单，可靠性高。
- AI ISP是唯一可以实现彩色夜视的技术路线
在过去几乎所有的夜视技术都需要用红外光去做夜间成像，因为在夜间有大量的红外辐射，光的强度足以去激发感光芯片的信号，但在夜间因为可见光非常非常少，所以以往行业基本上没有考虑过用可见光做成像。传统的微光夜视仪运用近红外波段，热成像仪运用远红外波段来进行彩色还原。然而，380-790 纳米的可见光波（红、橙、黄、绿、蓝、靛**、紫光）段是光谱中唯一有色彩信息的波段。
*
如上图，所有的色彩（红、成、黄、绿、蓝、紫）都在380纳米到790纳米这样一个波段，AI ISP技术恰恰可以使用这部分的光线，所以能够做到真实色彩的还原。当然，还原的程度就需要看技术算法的优劣。
效果图
- 在没有任何光源的暗室现场，我们看到并截取了几个现场图片，如下：
左上角：知名厂商0；右上角：知名厂商1；左下角：知名厂商2；右下角：普通摄像头
如上图，这是在照度为0.001lux的暗室下的静止图像效果。左边第一列摄像机效果最佳，全彩还原更真实，颗粒度更饱满细腻。
如上图，这是在有人物走动，相当于有画面流动的情况下的视觉效果。
- AI与ISP技术的结合解决了低照度下实时全彩夜视的世界性难题，传统的安防时代早已过去，过去几年通过大量后端AI算力进行分析的时代也将很快过去，AI前移的AI ISP技术时代或将掀起第三次视觉领域的浪潮。未来10年1000亿颗的规模将给这些AI ISP厂商更大的舞台，市场或许也将产生新的领头羊和独角兽。
- 在AI算力突破传统成像系统天花板的计算革命下，AI ISP技术也将不断发展，其算力也将越来越强，其产品成本将不可避免的越来越低，拍摄距离也将越来越远，效果也会越来越好。而一直被大众所不理解和诟病的特斯拉的全摄像头视觉技术，或许不久将成为现实。
7️⃣ AI-ISP 未来趋势
行业应用场景
在国内外行业应用中，国内的无人机、自动驾驶、公安、中国铁塔、石油石化、矿井、安全应急、远洋船只、铁路以及消费品行业将是主要的应用场景。
厂商赛道
目前，大摄像头领域的市场根据视觉远近主要划分为三个赛道：
- 传统安防领域最大的厂商主要有海康、大华、宇视、华为、高德红外，这些厂商的产品主要应用场景是50m-100m范围。
- 在200-800米范围内的主要厂商有海康、大华和深知未来；
- 在更远距离上有深知未来、SHEENRUN等。
结论
- 传统ISP，人工调参，过于复杂
- 端到端AISP，算力不够，功耗大，成本高，目前难实时
- AI ISP将更多扮演功能补足的角色，两者将长期共存
🤝 Thank you
❤️ 每周免费分享CV&AIGC相关最新资讯，感兴趣可以关注，喜欢动动小手点个赞，谢谢支持！
