ECCV 2026 · MULTI-EXPOSURE FUSION
ExpoMotion：1738组动态多曝光数据
Householder投影"筛掉"鬼影
大规模动态多曝光融合基准 + Householder正交投影网络同时解决极端曝光、运动鬼影与高频细节丢失
图1 ExpoMotion 既包括真实的运动、可控制的运动、极强的光线以及实验室的数据，并非仅仅是为了还原画面细节，在动态场景中也尽量减少运动模糊。
动态多曝光融合容易产生重影、撕裂等问题。本文解决了这两个问题：第一是建立大规模动态多曝光的数据集ExpoMotion；二是提出Householder正交投影网络，用几何投影的方法把运动鬼影从特征空间里去掉。
01 论文信息
PAPER INFORMATION
题目： ExpoMotion: A Large-Scale Benchmark and A Householder Projection Network for Multi-Exposure Fusion
中文： 面向多曝光融合的大规模基准与 Householder 投影网络
作者： Yao Liu*、Lishen Qu*、Shihao Zhou、Jie Liang、Hui Zeng、Yabin Peng、Huipeng Lin、Lei Zhang、Jufeng Yang†
单位： 南开大学国际先进研究院（深圳·福田）；鹏城实验室；南开大学计算机学院；香港理工大学；OPPO研究院
发表： ECCV 2026
代码： https://github.com/Leo-LiuYao/ExpoMotion
下载： https://arxiv.org/abs/2607.03110
02 为什么要再创建一个新的数据集呢？
在不断变化的画面当中存在着一个长久以来的问题：真实的运动一般都没有可靠的GT，但是人工合成的动作不真实，现有的MEF基准大部分都是静态场景，不能很好地评价出细节恢复、视觉质量以及消除拖尾的效果。
ExpoMotion到底有多大的空间呢？
① 数据规模：共包含1738 组曝光序列和 10909 张图片，支持3帧、5帧以及7帧的输入方式，曝光范围从EV-3到EV+3。
② 场景组成：可以控制运动状态、真实的运动情况以及静止的状态，在专业的实验室里也可以得到数据，包括白昼、黑夜、街道、餐馆、沙滩、楼梯等等现实生活中的各种场景。
③ 严格筛选：原始采集了大约14235组序列，在去除掉模糊、噪声、抖动以及对齐质量之后，有超过80%的数据被删除掉了。高质量GT：先用经典的算法以及商业HDR软件得到一些候选的结果，然后经过人的选择之后再把它们交给五名专业的摄影师或者成像师改变色调曲线和色温。
图2 ExpoMotion在数据量、语义种类、明暗变化范围、曝光时间长短以及颜色深度等方面都更加广泛，并且平均分辨率为2563*1896。
03 HOP：先对齐曝光，后滤掉鬼影
传统的做法是把多曝光融合当作一个特征匹配的过程来处理：首先找到相似的部分，然后用光流、可变形卷积或者注意机制等方式进行合并。但是在MEF中，辅助帧最具有价值的信息往往就是参考帧中已经被过度曝光或者不足曝光而无法匹配的地方。因此作者把整个过程分成两部分来进行：曝光预对齐和鬼影过滤。
图3中，HOP用过曝帧、参考帧以及欠曝帧作为输入，并且首先使用GPIA来统一亮度值之后再经过U形Transformer中的HOA以及GGFN对鬼影进行消除并改善图像质量。
1、GPIA：首先解决曝光的问题，然后再来谈运动的事
极大的亮度差别会对特征匹配造成影响，在GPIA中用Retinex理论中的"照明主要是低频信息"来处理参考特征和辅助特征，并且做16*16的平均池化得到全局照明先验之后再求出亮度比例图。
R =Up(L Ref) + εUp(L Aux) + ε，F Aux′=F Aux⊙R
R 代表的是辅助帧与参考帧之间的光强校正系数，在此之前要先把辅助特征的曝光值调整至接近于参考帧的程度，之后再由后面的网络来单独去解决运动伪影以及亮度差异的问题。
2、HOA：把鬼影改成几何投影
HOA是本文最重要的设计部分，它不单单依靠特征相似度来判断要保留哪些内容了，而是明确定义了参照特征和辅助特征的关系，并且对它们进行了学习冲突方向 v，并且把运动鬼电影看作是沿着这个方向产生的干扰分量。
H hop=I − αv**vT
标准Householder变换用I-αvTvT把向量关于一个超平面做镜像，本文把常数2换成可学的通道缩放系数α之后，可以使各个通道自己调整鬼影抑制的程度。
图4 蓝色向量被超平面反射之后就变成了绿色向量；论文用上面这个几何过程来把不一致的运动分量从辅助特征里正交地去掉。
为了防止把真实的细节一并去掉，在模型中会利用到参照特征和辅助特征之间的差异幅度来产生一个强度门控M，并且只有当两者之间存在较大的差别时才会对投影滤波施加更大的影响。
F clean=F Aux− α ·M**v ⊙ (v TFAux)
可以把它看作是：首先求出辅助特征在冲突方向上的分量，然后从原来的特征里去掉这部分之后得到的就是fclean，它更接近于参照帧的有效结构。
3、GGFN：用固定的梯度先验来保护边缘
去掉鬼影之后还要注意不要把边沿、纹理等细节给抹杀了，在此情况下有两种途径可以走：一种是用可训练的深度卷积网络来捕捉语义以及局部特征；另外一种则是直接利用固定好的拉普拉斯算子来求解二阶导数。
KLap=⎡ 0 −1 0 ⎤⎢−1 4 −1⎥⎣ 0 −1 0 ⎦
X hidden= DWConv(X in) + β(X in⊛KLap)
β 初始值设为 0，在此之前模型会用普通的卷积分支来训练，并且之后还会加入 Laplacian 边缘先验。因此既可以保持网络的学习能力又可以加强灯光边沿、人物轮廓以及阴影细节。
图5 三个模块各司其职：GPIA 调整亮度、HOA 依据不同方向滤除鬼影、GGFN 利用Laplacian分支还原高频率边沿。
HOP就是一种思想方式，即把问题看作一个整体来思考。 首先把各个曝光不一致的照片亮度调至同一个标准上，然后找出参照帧和辅助帧之间存在的矛盾之处，并且通过正交投影来消除运动伪影，在此之后再用梯度先验的方法给边沿以及纹理做填充工作。
04 实验结果
训练集有1493组ExpoMotion序列，测试时用到的是带有GT的可控制运动样本共132组以及没有GT的真实运动样本共113组，在进行150个epoch的训练过程中使用了AdamW算法，并且把初始的学习率设为2×10−4并且用四块NVIDIA V100进行训练。
全参考结果
HOP-B 在 Kalantari17、RealHDRV 以及 ExpoMotion 中都达到了28.804分贝、28.704分贝、28.720分贝Kalantari17 的增益比Restormer高大约0.5dB左右，而且参数量为15.69M，只占Restormer的一半不到。轻量级HOP-S只有3.699M参数仍然可以获得很好的结果。
表1 HOP-B 在三个完整的基准测试集中都得到了最好的综合成绩，而HOP-S 更加突出了它的轻量化的优点。
图6 人物、灯柱以及夜晚墙面等地方仍然有重影、变形或者噪点等问题，而使用HOP之后可以很好地还原出高光网格、暗处细节以及移动物体轮廓。
跨数据集泛化
在 Sen 和 Tursen 测试集中用 ExpoMotion 对 HOP-B 进行训练之后得到MUSIQ 62.74百万比用Kalantari17训练得到的结果高57.87个百分点，用RealHDRV训练得到的结果高60.89个百分点。也就是说，并不是单纯的网络性能提高了，数据量以及真实的运动多样性也很重要。
表2 ExpoMotion 对于两个真实的运动测试集进行训练之后得到的结果比其他方法更好一些，在MUSIQ、DeQA、PAQ2PIQ以及HyperIQA这四个指标上都表现得比较好。
图7 小样本量的数据所得到的模型容易造成枝节不清，在强光处还会出现形态畸变；ExpoMotion 训练出来的模型对于真实的运动以及各种各样的光照条件都比较有抵抗力。
消融实验
单独加入GPIA、HOPU和GGFN三个模型可以提高大约0.4dB，完整的模型比基准值提高了27.45dB。28.50dB，累计增加1.05dB但是参数量只由原来的3.3818M增加到现在的3.6990M左右，增加了大约9.3%。
表3-4中GPIA可以改善人脸和暗部的噪声恢复效果，而HOPU对于运动伪影抑制的效果最好，在这三个模块一起使用的情况下可以获得最好的效果。
05 总结与思考
ExpoMotion 不是简单的把数据放大，而是把数据做大的过程。真实的运动、极强的曝光以及专家偏好的倾向并且加入了多曝光融合评价。HOP 不再仅仅依靠相似度匹配来实现去鬼影的效果，而是对去鬼影进行了新的定义。特征空间中正交拒绝的问题然后进行亮度预对齐以及梯度先验补齐的过程。
一句话总结： 首先利用ExpoMotion补齐动态多曝光的数据，然后用Householder投影找出并且去掉运动冲突的部分，使得最终的结果既没有鬼影又保留了亮度、对比度以及纹理等信息。
现在HOP使用的是固定的三帧输入方式，对于曝光帧数可以变化的相机或者数据集仍然存在一定的限制。作者也表示会把支持灵活输入帧数作为接下来的研究方向之一。
EXPOSITION · MOTION · ORTHOGONAL PROJECTION
往期推荐
