高通EIS基础pipeline

1.EIS 相关 Chi Node(GME/EISv2/EISv3)功能 & 协同总结

  这三个是 高通平台EIS(电子防抖)相关的核心 Chi Node,分工及协同逻辑如下:

1.1 GME

  • 功能定位: 生成 基于陀螺仪(gyro based)的对齐矩阵
  • 输出数据: LDC Grid & gyro alignment matrix
  • 对接模块: 传递至 EVA_MCTF,为 EVA 计算 image based 对齐矩阵提供基础数据

1.2 EISv2

  • 功能定位: 负责 预览流防抖
  • 输出数据: LDC Grid & stable matrix
  • 对接模块: 同时传递至 EVA_MCTF(提供 stable matrix)、IPE_Preview(支撑预览流防抖)

1.3 EISv3

  • 功能定位: 负责录像流防抖
  • 输出数据: LDC Grid & stable matrix
  • 对接模块: 同时传递至 EVA_MWarp、IPE_Video(支撑录像流防抖)

1.4 与 EVA/IPE 的协同逻辑

  • EVA 模块(如 EVA_MCTF)接收 GME 的 gyro 对齐矩阵 + LDC Grid,计算 基于图像(image based)的对齐矩阵,最终用于 IPE 的 TF降噪对齐;
  • IPE 模块分两路:EISv2 对接 IPE_Preview 支撑预览流,EISv3 对接 IPE_Video 支撑录像流,同时结合 EVA 输出的对齐矩阵、LMC 数据完成防抖、TF降噪效果。

2.EIS node输出信息的流向

  介绍了高通平台EIS node输出信息的流向,本文从整体pipeline的角度介绍高通平台EIS算法集成的位置。

  如下示意图用于说明EIS在整个pipeline的位置:

  根据高通平台产品线的差异,主要会有三种不同的ISP架构:

  • Apollo ISP架构:主要是从SM8750开始出现,用于高通中高端平台,替代早期的Titan ISP架构。
  • Titan ISP架构:高通早期(2024年前)中高端平台的ISP架构。
  • Mimas2 ISP架构:高通中低端平台使用。

  EIS集成在上述三种架构中的差异:

  • Apollo和Titan架构中,平台本身有两个ICA硬件,IPE node内可以这两个ICA(ICA: Image Correction Adjustment)硬件,一个用于EIS warp,另外一个用于TF降噪;Mimas2平台只有一个ICA硬件,只能用于TF降噪,EIS输出Gridmap给Dewarp node,由Dewarp node做warp。所谓warp就类似于渲染,Dewarp是高通提供的开源node、由OpenGL实现的。
  • 基于上述的差异,那导致性能功耗也会有差异,用ICA的平台将有更好的快稳省表现。
  • Apollo和Titan架构中,EIS在IPE node之前,可以利用部分Zoom变焦的裁切,在倍率更高时,防抖表现会由于Mimas2平台(按高通设计,IPE会做部分Zoom裁切,另外一部分由realtime pipeline处理)。
  • GME node的输出形式也有一些变化,特别是Apollo架构下,GME node本身的功能更复杂一些。

3. 三方EIS算法集成

  高通平台支持 GME、EISV2、EISV3 三类 EIS Node,其中 GME 与 EISV2 是比较类似的,三类Node核心差异如下:

  • EISV2 Node:无前瞻特性(non-future looking),接收当前帧输入后即时输出稳定矩阵,按sequence ID 0-1 设置依赖、ID 2 执行算法并发布结果,无延迟处理。
  • EISV3 Node:具备前瞻特性(future looking),需接收当前帧及后续多帧数据后才输出当前帧防抖矩阵,延迟帧数可配置。算法需内部存储数据直至完成所有处理,流结束时会接收虚拟数据进行收尾处理。
  • GME Node:实际基于 EISV3 衍生,却无前瞻特性(类似 EISV2(non-future looking)),可计算包含LDC+RSC的畸变校正网格和 MCTF 对齐的Matrix, 在无EIS启用的场景,仍然需要。

  如上图所示,高通CamX中,为每个Request ID涉及了多个Seq ID(0-3),在EIS集成过程中,每个Seq ID有不同的作用,因为EIS是基于IMU数据计算的,在算法运行前需要拿到Gyro/Accel data,而获取Gyro/Accel data前,需要读取当前帧图像的帧时间戳、曝光时间、rollingshutterskew等Metadata信息。
输出数据格式规范   EISV2、EISV3 及 GME Node的输出数据核心要求一致,需包含以下关键信息(平台更新可能会有细微差异):

相关推荐
weixin_Todd_Wong201017 小时前
海思 3516CV610 双目 IMU 可穿戴数采相机落地方案
数码相机
钒星物联网1 天前
自组网+Ku宽带卫星图传,为野保监测搭建空天地一体化高速通道
数码相机·物联网·卫星通信·红外相机·自组网·野外监测
LitchiCheng3 天前
还在改xml调相机?MuJoCo交互式可视化调整相机安装位置
xml·数码相机
PHOSKEY4 天前
光子精密QM系列闪测仪在数控机床上切槽刀精密尺寸测量的应用案例
数码相机
在世修行4 天前
深度图像数据格式与RAW文件解析:从字节到三维世界的桥梁
人工智能·数码相机·计算机视觉
PHOSKEY4 天前
光子精密闪测仪在具身机器人灵巧手齿轮尺寸检测质量管控中的应用
数码相机
浪里镖客4 天前
zed 2i相机坐标系与内参、外参
数码相机·opencv·计算机视觉
爱分享的康康5 天前
解锁路测数据价值|康谋自动驾驶采集‑分析全链路方案解读
人工智能·数码相机·自动驾驶
光电的一只菜鸡5 天前
semi planar和planar的区别
数码相机