高通EIS基础pipeline

1.EIS 相关 Chi Node(GME/EISv2/EISv3)功能 & 协同总结

  这三个是 高通平台EIS(电子防抖)相关的核心 Chi Node,分工及协同逻辑如下:

1.1 GME

  • 功能定位: 生成 基于陀螺仪(gyro based)的对齐矩阵
  • 输出数据: LDC Grid & gyro alignment matrix
  • 对接模块: 传递至 EVA_MCTF,为 EVA 计算 image based 对齐矩阵提供基础数据

1.2 EISv2

  • 功能定位: 负责 预览流防抖
  • 输出数据: LDC Grid & stable matrix
  • 对接模块: 同时传递至 EVA_MCTF(提供 stable matrix)、IPE_Preview(支撑预览流防抖)

1.3 EISv3

  • 功能定位: 负责录像流防抖
  • 输出数据: LDC Grid & stable matrix
  • 对接模块: 同时传递至 EVA_MWarp、IPE_Video(支撑录像流防抖)

1.4 与 EVA/IPE 的协同逻辑

  • EVA 模块(如 EVA_MCTF)接收 GME 的 gyro 对齐矩阵 + LDC Grid,计算 基于图像(image based)的对齐矩阵,最终用于 IPE 的 TF降噪对齐;
  • IPE 模块分两路:EISv2 对接 IPE_Preview 支撑预览流,EISv3 对接 IPE_Video 支撑录像流,同时结合 EVA 输出的对齐矩阵、LMC 数据完成防抖、TF降噪效果。

2.EIS node输出信息的流向

  介绍了高通平台EIS node输出信息的流向,本文从整体pipeline的角度介绍高通平台EIS算法集成的位置。

  如下示意图用于说明EIS在整个pipeline的位置:

  根据高通平台产品线的差异,主要会有三种不同的ISP架构:

  • Apollo ISP架构:主要是从SM8750开始出现,用于高通中高端平台,替代早期的Titan ISP架构。
  • Titan ISP架构:高通早期(2024年前)中高端平台的ISP架构。
  • Mimas2 ISP架构:高通中低端平台使用。

  EIS集成在上述三种架构中的差异:

  • Apollo和Titan架构中,平台本身有两个ICA硬件,IPE node内可以这两个ICA(ICA: Image Correction Adjustment)硬件,一个用于EIS warp,另外一个用于TF降噪;Mimas2平台只有一个ICA硬件,只能用于TF降噪,EIS输出Gridmap给Dewarp node,由Dewarp node做warp。所谓warp就类似于渲染,Dewarp是高通提供的开源node、由OpenGL实现的。
  • 基于上述的差异,那导致性能功耗也会有差异,用ICA的平台将有更好的快稳省表现。
  • Apollo和Titan架构中,EIS在IPE node之前,可以利用部分Zoom变焦的裁切,在倍率更高时,防抖表现会由于Mimas2平台(按高通设计,IPE会做部分Zoom裁切,另外一部分由realtime pipeline处理)。
  • GME node的输出形式也有一些变化,特别是Apollo架构下,GME node本身的功能更复杂一些。

3. 三方EIS算法集成

  高通平台支持 GME、EISV2、EISV3 三类 EIS Node,其中 GME 与 EISV2 是比较类似的,三类Node核心差异如下:

  • EISV2 Node:无前瞻特性(non-future looking),接收当前帧输入后即时输出稳定矩阵,按sequence ID 0-1 设置依赖、ID 2 执行算法并发布结果,无延迟处理。
  • EISV3 Node:具备前瞻特性(future looking),需接收当前帧及后续多帧数据后才输出当前帧防抖矩阵,延迟帧数可配置。算法需内部存储数据直至完成所有处理,流结束时会接收虚拟数据进行收尾处理。
  • GME Node:实际基于 EISV3 衍生,却无前瞻特性(类似 EISV2(non-future looking)),可计算包含LDC+RSC的畸变校正网格和 MCTF 对齐的Matrix, 在无EIS启用的场景,仍然需要。

  如上图所示,高通CamX中,为每个Request ID涉及了多个Seq ID(0-3),在EIS集成过程中,每个Seq ID有不同的作用,因为EIS是基于IMU数据计算的,在算法运行前需要拿到Gyro/Accel data,而获取Gyro/Accel data前,需要读取当前帧图像的帧时间戳、曝光时间、rollingshutterskew等Metadata信息。
输出数据格式规范   EISV2、EISV3 及 GME Node的输出数据核心要求一致,需包含以下关键信息(平台更新可能会有细微差异):

相关推荐
高升说4 小时前
避障相机与激光雷达的硬件融合:时基、外参、算力与布局的工程实现
人工智能·数码相机
hahaha601619 小时前
自动白平衡 & 手动白平衡
数码相机
钒星物联网1 天前
林区没信号,红外相机怎么把照片实时送出来?
数码相机·数据传输·卫星通信·红外相机·自组网·宽带卫星
特创数字科技1 天前
【uni-app x】告别系统相机限制!三端通用自定义相机组件:任意布局、静默拍照、录像、水印叠加、连拍回图一次搞定
前端·数码相机·uni-app
Jmyd01232 天前
手持激光三维扫描仪技术解析:三角测量数据链路、材质适配矩阵与点云处理流程
数码相机·矩阵·材质·三维数字化
FLJwu8 天前
存储与固件量产实战01:运动相机TF卡量产翻车实录!V30≠4K可用,90%OEM踩中的隐形售后坑
经验分享·数码相机·相机
FLJwu9 天前
整机可靠性测试实战 03:防水密封可靠性|IP67/IP68 结构设计、密封胶圈选型与泡水测试量产翻车整改
经验分享·数码相机·相机
FLJwu12 天前
传感器与图像 ISP 实战 03:运动相机图像量产一致性|批次色差、白平衡漂移、整机标定与出厂图像质检方案|20 年源头工厂量产经验
图像处理·经验分享·数码相机·相机·isp
蓝宝石的傻话13 天前
MiBee Eye Notebook:把闲置笔记本变成一台带麦克风的网络摄像头
数码相机·rust
大熊背14 天前
《Color constancy by characterization of illumination chromaticity》之色度色域最大化算法(一)
数码相机·算法·白平衡·色度色域