高通EIS基础pipeline

1.EIS 相关 Chi Node(GME/EISv2/EISv3)功能 & 协同总结

这三个是 高通平台EIS(电子防抖)相关的核心 Chi Node,分工及协同逻辑如下:

1.1 GME

  • 功能定位: 生成 基于陀螺仪(gyro based)的对齐矩阵
  • 输出数据: LDC Grid & gyro alignment matrix
  • 对接模块: 传递至 EVA_MCTF,为 EVA 计算 image based 对齐矩阵提供基础数据

1.2 EISv2

  • 功能定位: 负责 预览流防抖
  • 输出数据: LDC Grid & stable matrix
  • 对接模块: 同时传递至 EVA_MCTF(提供 stable matrix)、IPE_Preview(支撑预览流防抖)

1.3 EISv3

  • 功能定位: 负责录像流防抖
  • 输出数据: LDC Grid & stable matrix
  • 对接模块: 同时传递至 EVA_MWarp、IPE_Video(支撑录像流防抖)

1.4 与 EVA/IPE 的协同逻辑

  • EVA 模块(如 EVA_MCTF)接收 GME 的 gyro 对齐矩阵 + LDC Grid,计算 基于图像(image based)的对齐矩阵,最终用于 IPE 的 TF降噪对齐;
  • IPE 模块分两路:EISv2 对接 IPE_Preview 支撑预览流,EISv3 对接 IPE_Video 支撑录像流,同时结合 EVA 输出的对齐矩阵、LMC 数据完成防抖、TF降噪效果。

2.EIS node输出信息的流向

介绍了高通平台EIS node输出信息的流向,本文从整体pipeline的角度介绍高通平台EIS算法集成的位置。

如下示意图用于说明EIS在整个pipeline的位置:

根据高通平台产品线的差异,主要会有三种不同的ISP架构:

  • Apollo ISP架构:主要是从SM8750开始出现,用于高通中高端平台,替代早期的Titan ISP架构。
  • Titan ISP架构:高通早期(2024年前)中高端平台的ISP架构。
  • Mimas2 ISP架构:高通中低端平台使用。

EIS集成在上述三种架构中的差异:

  • Apollo和Titan架构中,平台本身有两个ICA硬件,IPE node内可以这两个ICA(ICA: Image Correction Adjustment)硬件,一个用于EIS warp,另外一个用于TF降噪;Mimas2平台只有一个ICA硬件,只能用于TF降噪,EIS输出Gridmap给Dewarp node,由Dewarp node做warp。所谓warp就类似于渲染,Dewarp是高通提供的开源node、由OpenGL实现的。
  • 基于上述的差异,那导致性能功耗也会有差异,用ICA的平台将有更好的快稳省表现。
  • Apollo和Titan架构中,EIS在IPE node之前,可以利用部分Zoom变焦的裁切,在倍率更高时,防抖表现会由于Mimas2平台(按高通设计,IPE会做部分Zoom裁切,另外一部分由realtime pipeline处理)。
  • GME node的输出形式也有一些变化,特别是Apollo架构下,GME node本身的功能更复杂一些。

3. 三方EIS算法集成

高通平台支持 GME、EISV2、EISV3 三类 EIS Node,其中 GME 与 EISV2 是比较类似的,三类Node核心差异如下:

  • EISV2 Node:无前瞻特性(non-future looking),接收当前帧输入后即时输出稳定矩阵,按sequence ID 0-1 设置依赖、ID 2 执行算法并发布结果,无延迟处理。
  • EISV3 Node:具备前瞻特性(future looking),需接收当前帧及后续多帧数据后才输出当前帧防抖矩阵,延迟帧数可配置。算法需内部存储数据直至完成所有处理,流结束时会接收虚拟数据进行收尾处理。
  • GME Node:实际基于 EISV3 衍生,却无前瞻特性(类似 EISV2(non-future looking)),可计算包含LDC+RSC的畸变校正网格和 MCTF 对齐的Matrix, 在无EIS启用的场景,仍然需要。

如上图所示,高通CamX中,为每个Request ID涉及了多个Seq ID(0-3),在EIS集成过程中,每个Seq ID有不同的作用,因为EIS是基于IMU数据计算的,在算法运行前需要拿到Gyro/Accel data,而获取Gyro/Accel data前,需要读取当前帧图像的帧时间戳、曝光时间、rollingshutterskew等Metadata信息。
输出数据格式规范   EISV2、EISV3 及 GME Node的输出数据核心要求一致,需包含以下关键信息(平台更新可能会有细微差异):

相关推荐
ulimate_6 小时前
autoware能用来机械臂手眼相机的标定嘛
数码相机
Hi202402176 小时前
点云外参自动标定工具
数码相机
qq_5260991310 小时前
双目立体视觉相机|精准深度感知 全场景智能视觉
人工智能·数码相机·机器人·自动化
YJlio11 小时前
《Windows 11 从入门到精通》读书笔记 1.4.9:全新的微软应用商店——“库 + 多设备同步”把它从鸡肋变成刚需入口
c语言·网络·python·数码相机·microsoft·ios·iphone
YJlio11 小时前
《Windows 11 从入门到精通》读书笔记 1.4.10:集成的微软 Teams——办公与社交的无缝衔接
c语言·网络·python·数码相机·ios·django·iphone
manyikaimen11 小时前
博派智能-运动控制技术-高速飞拍
数码相机
皮卡 | 皮卡 | 丘尊11 小时前
相机相关代码
数码相机
市象11 小时前
风浪越大,影石越稳
科技·数码相机·消费·摄影·数码·影石
天外飞雨12 小时前
基于Scout mini底盘搭载多传感器可运行项目
数码相机