高通EIS基础pipeline

1.EIS 相关 Chi Node(GME/EISv2/EISv3)功能 & 协同总结

这三个是 高通平台EIS(电子防抖)相关的核心 Chi Node,分工及协同逻辑如下:

1.1 GME

  • 功能定位: 生成 基于陀螺仪(gyro based)的对齐矩阵
  • 输出数据: LDC Grid & gyro alignment matrix
  • 对接模块: 传递至 EVA_MCTF,为 EVA 计算 image based 对齐矩阵提供基础数据

1.2 EISv2

  • 功能定位: 负责 预览流防抖
  • 输出数据: LDC Grid & stable matrix
  • 对接模块: 同时传递至 EVA_MCTF(提供 stable matrix)、IPE_Preview(支撑预览流防抖)

1.3 EISv3

  • 功能定位: 负责录像流防抖
  • 输出数据: LDC Grid & stable matrix
  • 对接模块: 同时传递至 EVA_MWarp、IPE_Video(支撑录像流防抖)

1.4 与 EVA/IPE 的协同逻辑

  • EVA 模块(如 EVA_MCTF)接收 GME 的 gyro 对齐矩阵 + LDC Grid,计算 基于图像(image based)的对齐矩阵,最终用于 IPE 的 TF降噪对齐;
  • IPE 模块分两路:EISv2 对接 IPE_Preview 支撑预览流,EISv3 对接 IPE_Video 支撑录像流,同时结合 EVA 输出的对齐矩阵、LMC 数据完成防抖、TF降噪效果。

2.EIS node输出信息的流向

介绍了高通平台EIS node输出信息的流向,本文从整体pipeline的角度介绍高通平台EIS算法集成的位置。

如下示意图用于说明EIS在整个pipeline的位置:

根据高通平台产品线的差异,主要会有三种不同的ISP架构:

  • Apollo ISP架构:主要是从SM8750开始出现,用于高通中高端平台,替代早期的Titan ISP架构。
  • Titan ISP架构:高通早期(2024年前)中高端平台的ISP架构。
  • Mimas2 ISP架构:高通中低端平台使用。

EIS集成在上述三种架构中的差异:

  • Apollo和Titan架构中,平台本身有两个ICA硬件,IPE node内可以这两个ICA(ICA: Image Correction Adjustment)硬件,一个用于EIS warp,另外一个用于TF降噪;Mimas2平台只有一个ICA硬件,只能用于TF降噪,EIS输出Gridmap给Dewarp node,由Dewarp node做warp。所谓warp就类似于渲染,Dewarp是高通提供的开源node、由OpenGL实现的。
  • 基于上述的差异,那导致性能功耗也会有差异,用ICA的平台将有更好的快稳省表现。
  • Apollo和Titan架构中,EIS在IPE node之前,可以利用部分Zoom变焦的裁切,在倍率更高时,防抖表现会由于Mimas2平台(按高通设计,IPE会做部分Zoom裁切,另外一部分由realtime pipeline处理)。
  • GME node的输出形式也有一些变化,特别是Apollo架构下,GME node本身的功能更复杂一些。

3. 三方EIS算法集成

高通平台支持 GME、EISV2、EISV3 三类 EIS Node,其中 GME 与 EISV2 是比较类似的,三类Node核心差异如下:

  • EISV2 Node:无前瞻特性(non-future looking),接收当前帧输入后即时输出稳定矩阵,按sequence ID 0-1 设置依赖、ID 2 执行算法并发布结果,无延迟处理。
  • EISV3 Node:具备前瞻特性(future looking),需接收当前帧及后续多帧数据后才输出当前帧防抖矩阵,延迟帧数可配置。算法需内部存储数据直至完成所有处理,流结束时会接收虚拟数据进行收尾处理。
  • GME Node:实际基于 EISV3 衍生,却无前瞻特性(类似 EISV2(non-future looking)),可计算包含LDC+RSC的畸变校正网格和 MCTF 对齐的Matrix, 在无EIS启用的场景,仍然需要。

如上图所示,高通CamX中,为每个Request ID涉及了多个Seq ID(0-3),在EIS集成过程中,每个Seq ID有不同的作用,因为EIS是基于IMU数据计算的,在算法运行前需要拿到Gyro/Accel data,而获取Gyro/Accel data前,需要读取当前帧图像的帧时间戳、曝光时间、rollingshutterskew等Metadata信息。
输出数据格式规范   EISV2、EISV3 及 GME Node的输出数据核心要求一致,需包含以下关键信息(平台更新可能会有细微差异):

相关推荐
格林威9 小时前
AI视觉检测:Jetson Orin vs RTX A2000 推理速度对比
人工智能·数码相机·机器学习·计算机视觉·视觉检测·机器视觉·工业相机
qq_12084093711 天前
Three.js 大场景分块加载实战:从全量渲染到可视集调度
开发语言·javascript·数码相机
格林威1 天前
工业视觉检测:OpenCV FPS 正确计算的方式
运维·人工智能·数码相机·opencv·机器学习·计算机视觉·视觉检测
格林威2 天前
AI视觉检测:模型量化后漏检率上升怎么办?
人工智能·windows·深度学习·数码相机·计算机视觉·视觉检测·工业相机
gaosushexiangji2 天前
用于焊接机理研究的高速相机选型参考:S1315在激光电弧复合焊接熔池观测中的实验验证
数码相机
AGV算法笔记3 天前
最新感知算法论文分析:RaCFormer 如何提升雷达相机 3D 目标检测性能?
数码相机·算法·3d·自动驾驶·机器人视觉·3d目标检测·感知算法
三维频道3 天前
光学像素重构物理真实:极限工况下的 DIC 全场测量逻辑
数码相机·重构·全场应变测量·数字图像相关技术·可靠性测试·cae仿真对比·无损检测
空中海3 天前
第九章:安卓系统能力与平台集成
android·数码相机
moonsims3 天前
基于AiBrainBox-UGV的Smart RoBot系统架构&多Smart Robot协同架构:数据流 + 多机协同架构图
人工智能·数码相机·无人机
码农的日常搅屎棍3 天前
视觉标定--眼在手上整相机标定步骤适配随机工作平面
人工智能·数码相机·计算机视觉