ISP FPN噪声消除逻辑

目录

[1. FPN噪声成因](#1. FPN噪声成因)

[2. 当前帧噪声样本计算 (6‑31)](#2. 当前帧噪声样本计算 (6‑31))

[3. IIR 递归更新公式(核心,纠正后)](#3. IIR 递归更新公式(核心,纠正后))

[4. 完整工作流程](#4. 完整工作流程)

[5. 参数权衡(Trade‑off)](#5. 参数权衡(Trade‑off))


数字原始图像中的噪声可分为两大类:

  1. 固定模式噪声(FPN);
  2. 时域(随机)噪声。

对于固定模式噪声(FPN),"固定" 一词表示该噪声的图案不随时间发生变化 。固定模式噪声主要包含两部分:暗态噪声与光照下产生的噪声。暗态分量称为暗固定模式噪声(Dark‑FPN) ,即使在完全无光的条件下也会存在。光照条件下产生的固定模式噪声称为像素响应非均匀性(PRNU),成因是各个像素对光线的感光灵敏度存在差异。

如果图像传感器内置列放大器,暗固定模式噪声会在图像中表现为竖条纹(列固定模式噪声),这类条纹十分刺眼,人眼极易察觉。

与之相对,时域(随机)噪声会随时间不断波动,因此在不同帧图像中,噪声的强度和空间位置均不相同。时域噪声是图像传感器采集画面过程中多种噪声源叠加而成(例如光子散粒噪声)。其他时域噪声来源包括:

  • 暗电流噪声:与温度相关,在图像传感器感光面生成。该噪声由热能激发产生的自由电子,加上入射光子打在传感器上生成的电子共同累积产生。
  • 读出噪声:传感器读取信号过程中产生的电子噪声。
  • 复位噪声:采集新一帧画面之前,传感器电容执行复位操作后,电容内残留电子所引发的噪声。
  • 量化噪声:由模数转换器(A/D)将光信号转换成数字数值的过程产生。模拟信号转换为一系列离散数字值时引入的误差称为量化误差。尤其当模数转换的位深较低时,量化噪声会对图像质量造成显著影响。

1. FPN噪声成因

列‑FPN 由列放大器失调电压造成,表现为图像竖直条纹。FPN 在每帧中固定不变;降噪策略:估算噪声轮廓,从原始图像中减去噪声 。 噪声估计利用传感器顶端预留、不会输出至最终画面的光学黑辅助行:Black Lines、Dark Lines。

两个辅助行特性

  1. Black Lines(光学黑行)
    • 遮光,积分时间 = 0
    • 几乎无时域噪声;采样信号≈纯列‑FPN 噪声
  2. Dark Lines(暗行)
    • 遮光,积分时间 = 成像区相同曝光时长
    • 可以采集到时域随机噪声;不用于列‑FPN 计算

2. 当前帧噪声样本计算 (6‑31)

  • nb = 黑行 (Black‑Lines) 行数
  • W = 图像宽度(列总数)
  • :黑区内第i行,第j列像素值 逻辑:同一列所有黑行像素求平均,得到当前帧该列 FPN 采样值

3. IIR 递归更新公式(核心,纠正后)

参数:

  • LeakC:泄漏系数 (Leakage Constant)
  • :上一帧得到的列 FPN 估值
  • :当前帧由黑行算出的噪声样本

参数作用

  1. LeakC越大:历史估值权重越高,新帧样本占比越低。
    • 优点:噪声估计更平滑,单帧采样扰动被抑制
    • 缺点:收敛速度变慢,若列 FPN 随温度缓慢漂移,跟踪响应变慢
  2. LeakC越小:新帧权重越高,收敛速度越快;但是估值波动更大。

4. 完整工作流程

  1. 初始化:全部列的
  2. 接收新一帧 Raw 图像
    1. 读取图像顶端 Black Lines 黑行像素
    2. 式 (6‑31) 逐列取平均,得到当前帧噪声样本
    3. IIR 递归公式更新全局噪声估计模板
  3. 多帧迭代收敛,估值逼近真实列偏移
  4. 校正:图像每一列减去对应的列‑FPN 估值

5. 参数权衡(Trade‑off)

  1. 黑行数量 nb
    • nb 过小:单帧平均样本少,\(FPN\_CurSample\)随机波动大,估值不可靠
    • nb 过大:浪费传感器像素资源,增加运算开销
  2. LeakC 泄漏系数:控制收敛速度与平滑度。 工程上需要同时调整 nb 和 LeakC,寻找性能与资源的平衡点。
相关推荐
张彦峰ZYF3 小时前
越过边界之前:Reward Seeker 实验如何改写智能体安全的时间逻辑
人工智能·ai agent·anthropic·智能体安全·reward seeker·“控制评价过程”泛化跨领域策略·envbom
拓恒技术3 小时前
无人机巡检AI算法的工程化落地:从需求到交付的5个核心环节
人工智能·算法·无人机
罗西的思考5 小时前
AI 时代的 “房谋杜断”:如何培养能力、品味与判断力
人工智能·算法·机器学习
字节跳动视频云技术团队6 小时前
720P 直升 8K,解密 2026 抖音美好奇妙夜巨幕超分黑科技
人工智能·音视频开发
打工仔折腾 AI6 小时前
在 Ubuntu ARM64 部署 Q1 V3.0 MuJoCo 模型:加载、单步推理与执行器响应解析
linux·运维·人工智能·python·深度学习·ubuntu·性能优化
逐米时代6 小时前
从试点验证到协同深化:制造业AI转型三年路线图设计方法
人工智能
GlobalInfo6 小时前
全球及中国风电叶片检测机器人行业研究报告(2026版):市场现状、行业前景与占有率分析
运维·网络·人工智能·机器人
stormzhangV7 小时前
AI 越强,失业越严重
人工智能·aigc
夏文强8 小时前
Rerank 与混合检索:怎么让 RAG 从「能用」变成「好用」
人工智能·大模型·向量数据库·rag·检索增强生成
救救孩子把8 小时前
AI面试八股文-23_23-Agent可观测性与生产监控面试题
人工智能·面试·职场和发展·agent·langsmith·langfuase