引言
夜视机芯的画质,80%由图像信号处理器(ISP)决定。传统ISP在白天光照充足时表现尚可,但进入0.1Lux以下的微光场景,噪点爆炸、色彩丢失、动态范围坍缩等问题集中爆发。要在0.001Lux极限照度下实现全彩成像,传统ISP已经无能为力,AI-ISP成为唯一解法。
传统ISP在夜视场景的三大痛点
第一,3D降噪导致拖影。 传统ISP的时域降噪依赖多帧叠加,在低照度下需要叠加8-16帧才能压制噪点,结果就是运动物体出现明显拖影,无法满足无人机、车载等动态场景需求。
第二,色彩还原失真。 传统ISP在低照度下会自动切换到黑白模式,丢失了色彩信息。这对于AI识别是致命的------夜间人脸识别、车辆颜色识别、烟雾类型识别等任务的准确率会断崖式下跌。
第三,细节与噪点的矛盾。 传统降噪算法无法区分"真实细节"和"传感器噪点",要么保留噪点要么损失细节,陷入两难。
AI-ISP的工作原理
AI-ISP的核心是用神经网络替代传统ISP的某些模块,甚至重构整个处理链路。以真与科技自研的PixelClean为例,它的工作流程分为三步:
第一步,RAW域AI降噪。 直接对传感器输出的RAW数据做神经网络降噪,绕过传统ISP的Bayer域处理,从源头减少噪点传播。
第二步,多尺度细节重建。 用编码器-解码器网络(Encoder-Decoder)分离图像的"结构层"和"细节层",对细节层做针对性增强,避免传统锐化算法带来的"白边"伪影。
第三步,语义级色彩还原。 基于场景理解的色彩还原,不是简单查表映射,而是根据语义判断"这里是天空"、"这里是皮肤"、"这里是植被",做针对性的色彩曲线调整。
PixelClean在0.001Lux下的实测表现
在专业暗房测试中,PixelClean加持的AetoSight机芯在0.001Lux照度下,仍能输出可识别的人脸、清晰的车辆轮廓、真实的场景色彩。同等条件下,传统ISP要么切换成黑白模式,要么画面被噪点淹没。
FAQ
Q1:AI-ISP和传统ISP能共存吗?
A:可以。真与科技的方案是"AI-ISP + 传统ISP"混合架构,传统ISP负责自动曝光、白平衡等基础功能,PixelClean负责降噪、超分、色彩还原等AI任务。
Q2:AI-ISP的延迟如何?
A:AetoSight机芯的端到端延迟控制在40ms以内,远低于传统ISP+3D降噪的80-120ms。
Q3:AI-ISP的算力需求高吗?
A:PixelClean针对端侧NPU做了深度优化,在2-3 TOPS算力下即可实时运行,典型功耗<0.5W。
总结
从传统ISP到AI-ISP,不是一次小的升级,而是夜视成像的范式转移。PixelClean代表的AI-ISP技术,让0.001Lux微光全彩夜视从"实验室概念"变成"量产产品"。