《融合之智：基于深度学习的图像融合》
图像融合 "西瓜书" ！大白话讲解图像融合！
文章目录
- 《融合之智：基于深度学习的图像融合》
-
- 作者简介
- [图像融合 "西瓜书" · 推荐阅读理由](#图像融合 “西瓜书” · 推荐阅读理由)
- 适用人群
- 文章前沿
- [第一章 绪论](#第一章 绪论)
-
- [1.1 引言](#1.1 引言)
- [1.2 图像融合的基本概念](#1.2 图像融合的基本概念)
- [1.3 图像融合的一个特点和两个目的](#1.3 图像融合的一个特点和两个目的)
- [1.4 图像融合的分类](#1.4 图像融合的分类)
- [1.5 图像融合中的配准](#1.5 图像融合中的配准)
- [1.6 基于深度学习的图像融合](#1.6 基于深度学习的图像融合)
- [1.7 本书的写作目的](#1.7 本书的写作目的)
- [1.8 本书主要内容与特色](#1.8 本书主要内容与特色)
- [第二章 人工智能基础知识](#第二章 人工智能基础知识)
-
- [2.1 什么是深度学习？](#2.1 什么是深度学习？)
- [2.2 深度学习三要素](#2.2 深度学习三要素)
- [2.3 深度学习的分类](#2.3 深度学习的分类)
- [2.4 深度学习算法的常规设计流程](#2.4 深度学习算法的常规设计流程)
- [2.5 图灵测试](#2.5 图灵测试)
- [2.6 常用深度学习框架简介](#2.6 常用深度学习框架简介)
- [2.7 小结](#2.7 小结)
- [第三章 基于人工智能的图像融合概述](#第三章 基于人工智能的图像融合概述)
-
- [3.1 传统图像融合方法简介](#3.1 传统图像融合方法简介)
- [3.2 基于深度学习的图像融合发展状况概述](#3.2 基于深度学习的图像融合发展状况概述)
- [3.3 常用于图像融合的深度学习模型](#3.3 常用于图像融合的深度学习模型)
- [3.4 常用于图像融合的重要深度学习技术](#3.4 常用于图像融合的重要深度学习技术)
- [3.5 与多模态机器学习的关系](#3.5 与多模态机器学习的关系)
- [3.6 基于深度学习的图像融合发展趋势](#3.6 基于深度学习的图像融合发展趋势)
- [3.7 小结](#3.7 小结)
- [第四章 图像融合算法性能评价](#第四章 图像融合算法性能评价)
-
- [4.1 图像融合算法评价的特殊性](#4.1 图像融合算法评价的特殊性)
- [4.2 当前的主要图像融合评价方法](#4.2 当前的主要图像融合评价方法)
-
- [4.2.1 图像融合定性评价方法](#4.2.1 图像融合定性评价方法)
- [4.2.2 图像融合定量评价方法](#4.2.2 图像融合定量评价方法)
- [4.2.3 图像融合评价方法现状](#4.2.3 图像融合评价方法现状)
- [4.3 其他评价方法](#4.3 其他评价方法)
- [4.4 近年来的发展特点](#4.4 近年来的发展特点)
- [4.5 图像融合评价方法的发展趋势](#4.5 图像融合评价方法的发展趋势)
-
- [4.5.1 设计更好评价基准](#4.5.1 设计更好评价基准)
- [4.5.2 基于具体应用的性能评价](#4.5.2 基于具体应用的性能评价)
- [4.6 小结](#4.6 小结)
- [第五章 可见光与红外图像融合](#第五章 可见光与红外图像融合)
-
- [5.1 红外图像：从另一个视角感知世界](#5.1 红外图像：从另一个视角感知世界)
- [5.2 可见光与红外图像融合概述](#5.2 可见光与红外图像融合概述)
- [5.3 传统融合方法概述](#5.3 传统融合方法概述)
- [5.4 使用深度学习做图像融合的动机](#5.4 使用深度学习做图像融合的动机)
- [5.5 基于深度学习的融合方法发展历程概述](#5.5 基于深度学习的融合方法发展历程概述)
- [5.6 基于深度学习的可见光与红外图像融合方法分类](#5.6 基于深度学习的可见光与红外图像融合方法分类)
- [5.7 基于深度学习的可见光与红外图像融合方法介绍](#5.7 基于深度学习的可见光与红外图像融合方法介绍)
- [5.8 可见光与红外图像融合的发展特点](#5.8 可见光与红外图像融合的发展特点)
- [5.9 未来发展趋势](#5.9 未来发展趋势)
- [5.10 小结](#5.10 小结)
- [第六章 多聚焦图像融合](#第六章 多聚焦图像融合)
-
- [6.1 多聚焦图像融合概述](#6.1 多聚焦图像融合概述)
- [6.2 传统多聚焦图像融合方法概述](#6.2 传统多聚焦图像融合方法概述)
- [6.3 基于深度学习的多聚焦融合方法](#6.3 基于深度学习的多聚焦融合方法)
- [6.4 训练数据的获取](#6.4 训练数据的获取)
- [6.5 多聚焦图像融合的发展趋势](#6.5 多聚焦图像融合的发展趋势)
- [6.6 小结](#6.6 小结)
- [第七章 多曝光图像融合](#第七章 多曝光图像融合)
-
- [7.1 多曝光图像融合概述](#7.1 多曝光图像融合概述)
- [7.2 多曝光图像融合的特点](#7.2 多曝光图像融合的特点)
- [7.3 多曝光图像融合方法的分类](#7.3 多曝光图像融合方法的分类)
- [7.4 基于深度学习的融合方法](#7.4 基于深度学习的融合方法)
- [7.5 多曝光图像融合的发展趋势](#7.5 多曝光图像融合的发展趋势)
- [7.6 小结](#7.6 小结)
- [第八章 通用图像融合方法](#第八章 通用图像融合方法)
-
- [8.1 传统通用图像融合方法](#8.1 传统通用图像融合方法)
- [8.2 基于深度学习的通用图像融合方法](#8.2 基于深度学习的通用图像融合方法)
- [8.3 通用图像融合方法的优缺点](#8.3 通用图像融合方法的优缺点)
- [8.4 小结](#8.4 小结)
- [第九章 应用驱动的图像融合方法](#第九章 应用驱动的图像融合方法)
-
- [9.1 应用驱动的图像融合方法的优势](#9.1 应用驱动的图像融合方法的优势)
- [9.2 应用驱动的可见光与红外图像融合方法](#9.2 应用驱动的可见光与红外图像融合方法)
- [9.3 小结](#9.3 小结)
- [第十章 图像融合实践](#第十章 图像融合实践)
-
- [10.1 编程语言及深度学习框架选择](#10.1 编程语言及深度学习框架选择)
- [10.2 图像融合评价基准的使用](#10.2 图像融合评价基准的使用)
- [10.3 小结](#10.3 小结)
- [第十一章 可见光与红外图像融合的应用](#第十一章 可见光与红外图像融合的应用)
-
- [11.1 红外图像的常见应用总结](#11.1 红外图像的常见应用总结)
- [11.2 红外图像的缺点](#11.2 红外图像的缺点)
- [11.3 像素级可见光和红外图像融合的应用](#11.3 像素级可见光和红外图像融合的应用)
- [11.4 其他层级的可见光与红外图像融合的应用](#11.4 其他层级的可见光与红外图像融合的应用)
- [11.5 可见光与红外图像融合的应用小结](#11.5 可见光与红外图像融合的应用小结)
- [11.6 展望](#11.6 展望)
- [11.7 小结](#11.7 小结)
- [第十二章 多聚焦图像融合的应用](#第十二章 多聚焦图像融合的应用)
-
- [12.1 多聚焦图像融合的应用概述](#12.1 多聚焦图像融合的应用概述)
- [12.2 基于多聚焦图像融合的远距离人脸检测](#12.2 基于多聚焦图像融合的远距离人脸检测)
- [12.3 基于多聚焦图像融合的光学显微图像融合](#12.3 基于多聚焦图像融合的光学显微图像融合)
- [12.4 基于多聚焦图像融合的深度估计](#12.4 基于多聚焦图像融合的深度估计)
- [12.5 小结](#12.5 小结)
- [第十三章 多曝光图像融合的应用](#第十三章 多曝光图像融合的应用)
-
- [13.1 多曝光图像融合的应用概述](#13.1 多曝光图像融合的应用概述)
- [13.2 基于多曝光图像融合的语义分割](#13.2 基于多曝光图像融合的语义分割)
- [13.3 提升显微图像质量](#13.3 提升显微图像质量)
- [13.4 小结](#13.4 小结)
- [第十四章 图像融合的前沿进展](#第十四章 图像融合的前沿进展)
-
- [14.1 与其他任务相结合](#14.1 与其他任务相结合)
- [14.2 通用图像融合方法](#14.2 通用图像融合方法)
- [14.3 关于评价基准的研究](#14.3 关于评价基准的研究)
- [14.4 基于具体应用的融合方法性能评价](#14.4 基于具体应用的融合方法性能评价)
- [14.5 将图像配准和图像融合进行结合](#14.5 将图像配准和图像融合进行结合)
- [14.6 其他类型的图像融合](#14.6 其他类型的图像融合)
- [14.7 小结](#14.7 小结)
- [第十五章 总结与展望](#第十五章 总结与展望)
-
- [15.1 总结](#15.1 总结)
- [15.2 待解决的问题](#15.2 待解决的问题)
- [15.3 展望](#15.3 展望)
- [附录 A：图像融合相关的学术期刊和学术会议](#附录 A：图像融合相关的学术期刊和学术会议)
- [附录 B：图像融合相关开源代码下载链接。](#附录 B：图像融合相关开源代码下载链接。)
- [附录 C：图像融合论文写作经验](#附录 C：图像融合论文写作经验)
- [融合之智 · 读后感](#融合之智 · 读后感)
- 引用格式@《融合之智：基于深度学习的图像融合》
作者简介
张星辰，英国埃克塞特大学高级讲师、融合智能实验室负责人、欧盟玛丽居里学者、英国高等教育学会会士。曾任英国帝国理工学院玛丽居里研究员、教员、博士后研究员。主持和参与多项由英国皇家学会、欧盟委员会、英国创新与研究署资助的科研项目。
原文链接： https://github.com/xingchenzhang/ImageFusion-Book
图像融合 "西瓜书" · 推荐阅读理由
作者怀着对图像融合研究的真挚热爱与长期坚守，将多年积累的思考、实践与洞见融入字里行间，才打磨出这样一部既有深度又有温度的专业著作，读来令人由衷敬佩其专注与投入
适用人群
本书尤为适合希望系统入门或深入理解基于深度学习的图像融合技术的本科生、研究生，以及从事计算机视觉与多模态感知研究与应用的科研人员与工程师。
文章前沿
许多人向往完美，然而世间万物从无十全十美。弥补不完美的一种重要方式，便是"融合"。作为一名资深的金庸迷，笔者发现，融合的思想在金庸先生的作品中体现得淋漓尽致：无论是《神雕侠侣》中杨过与小龙女的双剑合璧，《侠客行》中石破天与白万剑的并肩出剑，《倚天屠龙记》中华山派与昆仑派正反两仪剑法的融汇，还是《雪山飞狐》中胡斐那对双胞胎徒弟的互补剑法，均体现了融合的思想。
融合，可以拓宽人类感知的局限，可以克服相机原理的限制，也可以在实际应用中直接帮助人们。*在实践中，由于各种成像传感器的限制，单一图像往往不能充分全面地反映一个场景的信息。图像融合是指将多幅图像中的有用信息提取出来生成一幅融合图像或者进行更好的决策的过程。根据源图像类别的不同，图像融合主要包含可见光红外图像融合、多聚焦图像融合、多曝光图像融合、医学图像融合和遥感图像融合。本质上，这些图像融合任务都是为了实现"兼听则明"。
图像融合技术多年来一直是研究热点，并且在许多领域有着重要应用，例如目标跟踪、目标检测、生物信息识别、肿瘤分割、深度估计、图像美化程序等。大约在 2017 年，深度学习技术被引入到图像融合领域。这极大地促进了图像融合领域的发展。截止到 2025 年 10 月，已有大量基于各种深度学习模型的图像融合文章在学术期刊和会议上发表，引起了广泛关注，也吸引着越来越多的研究人员开始着手相关研究。然而，现有的图像融合著作基本上都是多年以前出版的，其中并未深入地涉及到深度学习相关的内容。有鉴于此，笔者深感一部关注基于深度学习的图像融合方法的著作是非常有必要的。本书的写作目的，即在于此。
本书主要包括三个部分。第一部分是背景与概念，包括第一章到第二章。其中，第一章是绪论，主要介绍图像融合方面的一些基础知识，如图像融合的基本概念、图像融合的分类、本书的写作目的等。第二章介绍深度学习基础，包括深度学习发展情况简介、深度学习基础知识和常用的深度学习框架等内容。第二部分是方法与技术，包括第三章到九章。其中，第三章总体介绍基于深度学习的图像融合，包括其必要性和发展状况，以及常用于图像融合的深度学习模型。第四章介绍图像融合算法的性能评价方法，包括定性评价方法和定量评价指标。第五章至第七章各介绍一个图像融合类别，分别是可见光与红外图像融合、多聚焦图像融合、多曝光图像融合。在介绍每一个图像融合类别时，均首先给出问题的定义，然后简单介绍传统方法，再重点介绍近年来迅速发展的基于深度学习的方法。第八章介绍通用图像融合方法，即可以同时应用于几种图像融合任务的融合方法。第九章介绍应用驱动的图像融合方法。本书的第三部分为实践、应用与展望，涵盖第十章至第十五章。其中，第十章介绍图像融合的实践内容，包括编程语言的选择与评价基准的使用，第十一章介绍可见光与红外图像融合的应用，第十二章介绍多聚焦图像融合的应用，第十三章介绍多曝光图像融合的应用，第十四章总结了图像融合领域的前沿进展。
最后，第十五章对全书进行总结，并对图像融合领域的未来发展进行了展望。除了正文以外，笔者在附录A中还列出了图像融合相关的学术期刊和会议，便于读者朋友在进行论文投稿时参考。在附录B中，笔者给出了笔者的 Github链接。读者朋友们可以从该链接中找到许多开源图像融合算法的下载链接，以便于开展研究工作。在附录C中，笔者结合自己多年的论文写作和审稿经验，简单介绍了一下论文的写作经验，以供相关读者参考。需要说明的是，由于近年来发表的图像融合论文很多，本书只能挑选少数主要的方法来进行介绍。笔者在选取参考文献时，主要选择那些发表在顶会或者知名学术期刊上的文章。此外，笔者认为图像融合领域需要取得更好的发展，有两个问题必须要解决。一是找到合适的应用，二是开发出合理的评价方法和评价基准。本书也介绍了笔者在这两个方面做的一些探索。本书可作为图像融合领域的学生、科研人员和相关从业人员的参考书。本书也适合对图像融合领域感兴趣的学生和科研人员参考。由于基于深度学习的图像融合发展非常迅速，因此笔者在写作的过程中需要经常更新内容，甚至将之前已写好的内容进行重新写作。笔者已尽了很大的努力来进行本书的写作。然而，由于笔者水平有限，书中难免存在不足和错误之处，敬请读者不吝批评指正。这也是笔者不断前进的动力。欢迎读者朋友们前往本书的 Github 页面提建议和意见。笔者会持续更新本书，希望把下一版变得更好。
诺贝尔奖得主丹尼尔·卡尼曼在他的名著《思考，快与慢》一书的序言中说："我想，每位作者都幻想过一个场景，在此场景下，读者能从其作品中获益良多"。季羡林先生也说："出书必定要有用"。笔者希望本书是一本有用的书。
第一章 绪论
笔者：互补思想是图像融合的核心。
1.1 引言
本节从金庸武侠作品中"双剑合璧"的经典桥段出发，引出"互补"这一贯穿全书的核心思想。作者通过通俗而生动的类比，说明当不同个体各有所长、协同配合时，整体能力将显著提升。由此自然过渡到图像融合问题，强调融合的本质并非简单叠加，而是优势互补。
1.2 图像融合的基本概念
本节从成像传感器的物理局限切入，指出单一模态图像往往只能反映场景的某一侧面信息。通过可见光与红外、多聚焦、多曝光等实例，作者说明不同图像之间天然存在互补性。基于此，给出了图像融合的核心定义：通过整合多源图像的互补信息，获得更完整、更有价值的表达。
1.3 图像融合的一个特点和两个目的
作者在本节中明确指出图像融合区别于其他视觉任务的关键特点------缺乏标准融合图像，这一问题直接影响模型训练与性能评价。同时，系统总结了图像融合的两个核心目标：一是生成高质量融合图像供人观察，二是通过融合提升下游任务的性能。该小节为后文方法设计与评价讨论埋下重要伏笔。
1.4 图像融合的分类
本节从多个角度对图像融合方法进行了系统梳理，包括按源图像类型、融合层次、融合域以及是否使用深度学习进行分类。作者重点介绍了可见光--红外、多聚焦和多曝光三类典型融合任务，并通过实例说明各类方法的适用场景。该分类为读者构建了清晰的整体认知框架。
1.5 图像融合中的配准
本节专门讨论图像配准在融合任务中的作用，指出不同融合层次对配准精度的依赖程度并不相同。作者结合目标检测与跟踪等实际应用，说明特征级和决策级融合在一定程度上可以容忍配准误差。同时，通过分析常用数据集，揭示多模态图像严格配准在现实中所面临的挑战。
1.6 基于深度学习的图像融合
作者回顾了深度学习自 2017 年左右引入图像融合领域以来的发展历程，指出其迅速成为主流方法的原因。本节从特征学习、融合规则自适应以及模型鲁棒性等方面，系统阐明了深度学习相较传统方法的优势。同时，概述了 CNN、GAN、Transformer 与扩散模型等在融合任务中的应用。
1.7 本书的写作目的
本节从已有图像融合著作的不足出发，指出其对深度学习方法覆盖不系统、应用讨论不充分的问题。作者结合自身研究与教学经验，说明有必要对基于深度学习的图像融合进行全面总结。由此明确提出本书的写作目标：系统梳理方法、应用与实践，为读者提供完整参考。
1.8 本书主要内容与特色
本节对全书的结构安排进行了整体介绍，概述了背景与概念、方法与技术、实践与展望三大部分的内容。同时，作者总结了本书在前沿性、理论与应用结合、实践导向以及通俗易懂等方面的特色。该小节为读者后续阅读提供了清晰的路线图。
第二章 人工智能基础知识
《人工智能：一种现代方法》：我们认为人工智能是最值得学习的学科。
2.1 什么是深度学习？
本节首先厘清人工智能、机器学习与深度学习之间的关系，指出深度学习是机器学习的重要子领域。作者重点对比了传统机器学习依赖人工特征工程与深度学习自动学习特征之间的差异，说明深度学习在复杂任务中的优势。同时，结合 AlexNet 在 ImageNet 上的突破性成果，回顾了深度学习真正兴起的关键历史节点。
2.2 深度学习三要素
本节系统介绍了深度学习成功的三大关键要素：数据、算力和算法。作者指出，大规模高质量数据是深度模型性能提升的基础，算力的发展为深层网络训练提供了保障，而算法的进步则决定了模型的学习效率与表达能力。三者相互促进，共同推动了深度学习的快速发展。
2.3 深度学习的分类
本节从学习范式和模型类型两个角度，对深度学习方法进行了系统分类。作者分别介绍了监督学习、无监督学习与强化学习的基本思想，并区分了分类问题与回归问题的不同建模目标。同时，还进一步区分了判别式模型与生成式模型，为后续理解 GAN、扩散模型等方法打下基础。
2.4 深度学习算法的常规设计流程
本节概括了深度学习算法从问题建模到模型训练的典型流程，包括任务定义、模型设计、损失函数构建以及优化过程。作者强调，尽管具体任务不同，但深度学习方法在整体设计思路上具有高度一致性。该流程为读者后续理解图像融合网络的构建提供了通用范式。
2.5 图灵测试
本节简要回顾了图灵测试的提出背景及其在人工智能发展史中的意义。作者指出，图灵测试并非衡量智能的唯一标准，但它为人们思考"机器是否具备智能"提供了重要视角。该讨论有助于读者从更宏观的角度理解人工智能与深度学习的关系。
2.6 常用深度学习框架简介
本节介绍了当前主流的深度学习框架及其基本特点，帮助读者了解实际开发中常用的工具生态。作者从易用性、灵活性和社区支持等方面，对不同框架进行了概括性说明。该内容为后续章节中的实践与代码实现做好铺垫。
2.7 小结
本节对第二章内容进行了总结，强调深度学习基础知识对于理解后续图像融合方法的重要性。通过本章，读者可以建立对深度学习核心概念、方法分类及技术背景的整体认知。该章为全书后续"基于深度学习的图像融合"奠定了必要的理论基础。
第三章 基于人工智能的图像融合概述
笔者：深度学习的引入，使得图像融合的研究掀起了新一轮高潮。
3.1 传统图像融合方法简介
本节首先回顾了传统图像融合方法的整体框架，指出大多数传统方法通常包含特征提取、融合规则设计和重建三个步骤。作者系统介绍了传统融合方法的主要类别，并分析了这些方法在实际应用中的优缺点。特别指出，人工设计特征和融合规则是传统方法的核心，但也正是其性能瓶颈所在。
3.2 基于深度学习的图像融合发展状况概述
本节概述了深度学习被引入图像融合领域的背景与动机，说明其本质目标在于替代人工特征与手工融合规则。作者进一步区分了有监督与无监督两类深度学习融合方法，并指出二者在训练数据获取和应用场景上的差异。该小节为后续方法分类提供了总体视角。
3.3 常用于图像融合的深度学习模型
本节介绍了多种在图像融合中被广泛采用的深度学习模型，包括 CNN、GAN、Transformer 和扩散模型等。作者从模型结构和建模能力的角度，说明不同模型在特征提取、信息建模和生成能力方面的差异。这些模型构成了当前深度学习图像融合方法的主要技术基础。
3.4 常用于图像融合的重要深度学习技术
本节进一步聚焦具体技术层面，介绍了注意力机制、残差连接、稠密连接以及自动网络架构搜索等关键技术。作者指出，这些技术并非专为图像融合提出，但在融合任务中能够显著提升信息建模能力和训练稳定性。通过合理组合这些技术，可以有效增强融合模型的表达能力。
3.5 与多模态机器学习的关系
本节从更高层次讨论了图像融合与多模态机器学习之间的内在联系。作者指出，图像融合本质上是一类典型的多模态学习问题，其目标是实现跨模态信息的有效协同与互补建模。该视角有助于将图像融合研究与更广泛的多模态学习框架相统一。
3.6 基于深度学习的图像融合发展趋势
本节总结了近年来深度学习图像融合方法的发展趋势，包括模型多样化、端到端训练、通用融合框架以及从生成图像向服务下游任务转变等方向。作者指出，图像融合正在逐渐从"单一任务优化"走向"系统级感知能力提升"。这些趋势为后续章节的具体方法和应用奠定了方向。
3.7 小结
本节对第三章内容进行了总结，强调深度学习已经成为图像融合领域的主流技术路线。通过对模型、关键技术及发展趋势的系统梳理，读者可以对当前研究格局形成整体认识。该章起到了承上启下的作用，为后续具体融合任务的深入分析做好铺垫。
第四章 图像融合算法性能评价
笔者：正如华山论剑可以确定武林高手的武功高低，图像融合评价基准可以用于确定图像融合算法的好坏。
4.1 图像融合算法评价的特殊性
本节首先指出图像融合性能评价所面临的根本困难，即融合任务缺乏标准融合图像作为参考。作者强调，这一特性使得图像融合的评价问题显著区别于检测、分割等传统视觉任务。评价结果往往具有一定主观性，也直接影响算法公平比较与发展方向。
4.2 当前的主要图像融合评价方法
本节系统梳理了当前主流的图像融合评价方法，并将其分为定性评价和定量评价两大类。作者指出，定性评价侧重人眼感知与视觉效果，而定量评价依赖统计指标进行客观衡量。两类方法各有优势，但单独使用都难以全面反映融合质量。
4.2.1 图像融合定性评价方法
在定性评价部分，作者重点讨论了通过视觉观察对融合图像进行判断的方式。该方法直观、符合人类感知，但容易受到观察者经验和主观偏好的影响。本节强调，定性评价在论文展示中不可或缺，但不宜作为唯一评价依据。
4.2.2 图像融合定量评价方法
本节介绍了常用的定量评价指标，如信息量、结构相似性和边缘保持能力等。作者指出，不同指标关注的侧重点不同，有的强调信息保留，有的强调结构或对比度。合理选择和组合多种指标，是进行客观评价的关键。
4.2.3 图像融合评价方法现状
作者在本节中分析了当前评价方法存在的共性问题，例如指标之间相关性较高、与人眼感知不完全一致等。部分指标在不同场景下的稳定性和判别能力有限，容易导致评价结果不一致。这些问题制约了图像融合方法的公平比较。
4.3 其他评价方法
本节补充介绍了一些非主流但具有代表性的评价思路，例如基于任务性能的间接评价方式。作者指出，通过检测、分割等下游任务的性能变化来评价融合效果，能够反映融合在实际应用中的价值。该类方法逐渐受到研究者关注。
4.4 近年来的发展特点
本节总结了近年来图像融合评价研究的发展特点，包括评价指标数量不断增加以及评价维度逐渐多样化。作者指出，研究者开始更加关注评价结果与视觉感知和实际任务之间的一致性。这一变化反映了评价研究逐步走向应用导向。
4.5 图像融合评价方法的发展趋势
本节从发展角度讨论了未来评价方法的可能方向，强调构建更合理的评价基准和结合具体应用的重要性。作者认为，脱离应用场景的统一指标难以全面反映融合质量。面向任务和场景的评价将成为重要趋势。
4.5.1 设计更好评价基准
本节进一步指出，高质量评价基准对于推动图像融合领域发展至关重要。作者强调，评价基准不仅需要覆盖多种场景，还应具备良好的可复现性和公认性。合理的基准设计有助于形成更加公平的研究环境。
4.5.2 基于具体应用的性能评价
本节聚焦应用驱动的评价思想，指出融合算法最终价值应体现在实际任务性能提升上。通过下游任务结果来反映融合效果，可以避免部分指标失真的问题。这种评价方式在近年来逐渐成为研究热点。
4.6 小结
本节对第四章内容进行了总结，强调图像融合性能评价是该领域中最具挑战性的问题之一。作者指出，当前尚不存在完美的评价方案，需要结合多种方法综合分析。该章为后续方法设计与实验分析提供了重要参考依据。
第五章 可见光与红外图像融合
笔者：红外相机给我们提供了从另一个视角感知世界的方法。
5.1 红外图像：从另一个视角感知世界
本节从成像机理出发，介绍了红外图像与可见光图像在信息表达上的本质差异。红外图像基于热辐射成像，能够在弱光或复杂光照条件下突出目标。作者强调，红外图像在目标显著性方面具有独特优势，但在纹理与细节表达上存在明显不足。
5.2 可见光与红外图像融合概述
本节对可见光与红外图像融合任务进行了整体介绍，明确其核心目标是充分整合两种模态的互补信息。作者指出，该类融合在复杂环境感知中具有重要价值。该任务也是多模态图像融合中研究最为活跃、应用最为广泛的方向之一。
5.3 传统融合方法概述
本节回顾了可见光与红外图像融合中的传统方法，重点介绍了基于人工特征和手工融合规则的思路。作者指出，这类方法在早期取得了一定效果，但对特征设计和参数选择高度敏感。其泛化能力和复杂场景适应性存在明显局限。
5.4 使用深度学习做图像融合的动机
本节分析了将深度学习引入可见光与红外图像融合的主要动机。作者指出，深度学习能够自动学习判别性特征和融合规则，从而减少人工干预。同时，其端到端建模能力为复杂场景下的信息融合提供了新的可能。
5.5 基于深度学习的融合方法发展历程概述
本节从时间维度回顾了深度学习方法在可见光与红外图像融合中的发展过程。作者梳理了该方向从早期简单网络结构到复杂模型逐步演进的脉络。该回顾帮助读者理解当前主流方法的技术背景。
5.6 基于深度学习的可见光与红外图像融合方法分类
本节从结构设计和建模思路出发，对现有深度学习融合方法进行了分类。作者指出，不同类别的方法在特征提取方式和信息交互机制上存在显著差异。该分类为后续具体方法的理解提供了清晰线索。
5.7 基于深度学习的可见光与红外图像融合方法介绍
本节对代表性的深度学习融合方法进行了总体性介绍，概述了其基本思想与设计特点。作者强调，这些方法在特征表达能力和融合效果上普遍优于传统方法。该部分构成了本章的技术核心内容。
5.8 可见光与红外图像融合的发展特点
本节总结了近年来该领域的发展特点，包括模型复杂度提升和应用场景拓展等趋势。作者指出，融合方法正逐步从单纯生成图像转向服务下游任务。该变化反映了研究目标的整体升级。
5.9 未来发展趋势
本节从前瞻角度讨论了可见光与红外图像融合的未来研究方向。作者指出，通用融合框架、应用驱动方法以及评价机制的完善将成为重要趋势。该讨论为后续章节中的应用与展望内容埋下伏笔。
5.10 小结
本节对第五章内容进行了整体总结，重申了互补思想在可见光与红外图像融合中的核心地位。作者指出，深度学习方法已成为该领域的主流研究方向。该章为后续多聚焦和多曝光融合章节提供了方法参考。
第六章 多聚焦图像融合
笔者：多聚焦图像融合可以为下游任务提供清晰图像。
6.1 多聚焦图像融合概述
本节首先介绍了多聚焦图像融合产生的背景，即受相机景深限制，单张图像往往只能保证局部区域清晰。作者指出，多聚焦图像融合的目标是将多幅"局部清晰"的图像整合为一幅"全局清晰"的图像。该任务在视觉感知和后续计算机视觉应用中都具有重要意义。
6.2 传统多聚焦图像融合方法概述
本节回顾了多聚焦图像融合中的传统方法，重点介绍了基于清晰度度量和人工融合规则的经典思路。作者指出，这类方法依赖于对聚焦区域的准确判断，在简单场景下效果尚可。随着场景复杂度提升，其鲁棒性和泛化能力逐渐受到限制。
6.3 基于深度学习的多聚焦融合方法
本节介绍了深度学习方法在多聚焦图像融合中的整体应用情况。作者指出，深度学习能够自动学习清晰区域的判别特征，从而避免人工设计清晰度指标。相较传统方法，基于深度学习的融合方法在复杂场景下表现出更强的稳定性。
6.4 训练数据的获取
本节专门讨论了多聚焦图像融合中训练数据获取的问题。作者指出，由于真实全清晰图像难以获取，训练数据通常需要通过合成或特定策略构建。数据构建方式的不同，对模型训练和最终融合效果具有直接影响。
6.5 多聚焦图像融合的发展趋势
本节从发展角度总结了多聚焦图像融合的研究趋势。作者指出，该领域正逐步向无监督学习、弱监督学习以及与下游任务结合的方向发展。同时，融合方法的泛化能力和实际应用价值正受到越来越多的关注。
6.6 小结
本节对第六章内容进行了总结，强调多聚焦图像融合是互补思想在成像层面的典型体现。作者指出，深度学习方法已成为该方向的重要技术手段。该章为理解多曝光融合等后续章节提供了有益参考。
第七章 多曝光图像融合
笔者：多曝光图像融合在于捕捉和童现丰富的視觉细节，超越单一曝光的局限。
7.1 多曝光图像融合概述
本节介绍了多曝光图像融合产生的背景，即受相机动态范围限制，单张图像往往无法同时兼顾亮部和暗部细节。作者指出，多曝光图像融合旨在整合不同曝光条件下的有效信息，生成层次丰富、细节完整的高质量图像。该任务在视觉呈现和图像分析中都具有重要价值。
7.2 多曝光图像融合的特点
本节系统总结了多曝光图像融合任务自身所具有的若干特点。作者指出，该任务通常不存在标准融合图像，同时在实际应用中往往涉及多张源图像，而非仅限于两张。此外，多曝光图像融合还常常需要应对动态场景下的运动问题，这使得融合难度进一步增加。
7.3 多曝光图像融合方法的分类
本节从不同角度对多曝光图像融合方法进行了分类讨论。作者指出，可以根据是否需要标签信息，将方法划分为有监督学习方法和无监督学习方法。同时，还可以从源图像数量和应用场景等方面对融合方法进行进一步区分。
7.4 基于深度学习的融合方法
本节重点介绍了基于深度学习的多曝光图像融合方法。作者指出，深度学习方法能够通过数据驱动的方式自动学习融合策略，从而减少人工规则设计的依赖。与传统方法相比，这类方法在复杂光照和多场景条件下表现出更强的适应能力。
7.5 多曝光图像融合的发展趋势
本节从整体发展角度总结了多曝光图像融合领域的研究趋势。作者指出，该方向正逐步向端到端建模、无监督学习以及应用驱动的研究范式演进。同时，对融合结果的自然性和稳定性的关注不断增强。
7.6 小结
本节对第七章内容进行了总结，强调多曝光图像融合在突破成像动态范围限制方面的重要作用。作者指出，基于深度学习的方法已成为该领域的主要研究方向。本章为后续通用图像融合方法的讨论奠定了基础。
第八章 通用图像融合方法
笔者：通用图像融合方法是近年来的一个研究热点。
8.1 传统通用图像融合方法
本节介绍了传统通用图像融合方法的基本思想，即不针对某一特定融合任务，而是设计可适用于多种融合场景的统一框架。作者指出，这类方法通常基于人工特征和固定融合规则，具有一定的通用性。其优点在于结构清晰、易于理解，但在复杂场景下的适应能力仍然有限。
8.2 基于深度学习的通用图像融合方法
本节重点介绍了基于深度学习的通用图像融合方法。作者指出，这类方法通过统一的网络结构和学习机制，实现对多种融合任务的同时支持。相比传统方法，深度学习通用融合方法在特征表达能力和任务泛化能力方面具有明显优势。
8.3 通用图像融合方法的优缺点
本节系统分析了通用图像融合方法的优势与不足。作者指出，其主要优势在于方法具有较好的泛化能力，能够减少针对不同任务重复设计算法的成本；但同时也存在难以针对具体任务进行精细优化的问题。在实际应用中，通用性与性能之间往往需要进行权衡。
8.4 小结
本节对第八章内容进行了总结，强调通用图像融合在提升方法泛化性和实用性方面的重要意义。作者指出，基于深度学习的通用融合方法为多任务融合提供了新的研究范式。本章为后续应用驱动融合方法的讨论做好了铺垫。
第九章 应用驱动的图像融合方法
笔者：双剑合壁，为了好看，更为了有用。
9.1 应用驱动的图像融合方法的优势
本节对比了传统以生成融合图像为目标的方法与应用驱动方法之间的差异。作者指出，传统方法在融合过程中未显式考虑下游任务需求，因此对应用性能的提升往往有限。应用驱动的图像融合方法则在算法设计阶段就将具体任务纳入考虑，从而能够更有效地提升实际应用性能。
9.2 应用驱动的可见光与红外图像融合方法
本节系统介绍了以具体应用为目标的可见光与红外图像融合方法。作者指出，这类方法不再单纯追求融合图像的视觉质量，而是围绕下游任务（如检测、分割、计数等）进行融合设计。通过将融合过程与应用任务深度耦合，可以更充分地发挥多模态信息的优势。
9.3 小结
本节对第九章内容进行了总结，强调应用驱动图像融合方法在实际场景中的重要价值。作者指出，图像融合研究正在从"生成好看的融合图像"转向"服务具体应用任务"。该章体现了图像融合研究范式由视觉导向向任务导向的转变。
第十章 图像融合实践
陆游：纸上得来终觉浅，绝知此事要躬行。
10.1 编程语言及深度学习框架选择
本节围绕图像融合实践中的工程实现问题，讨论了编程语言和深度学习框架的选择。作者指出，不同语言和框架在开发效率、生态支持和实验复现性方面各有特点。合理的工具选择能够显著降低实验成本，并提升算法实现与调试效率。
10.2 图像融合评价基准的使用
本节介绍了图像融合研究中常用评价基准的作用和使用方式。作者强调，规范地使用公开评价基准有助于保证实验结果的可比性和可信度。同时，不同融合任务应选择合适的数据集和评价指标，以避免评价结果的片面性。
10.3 小结
本节对第十章内容进行了总结，强调图像融合研究不仅需要方法创新，也离不开规范的实验实践。作者指出，合理的工程实现和标准化的评价流程是高质量研究的重要保障。本章为后续应用与展望章节提供了实践基础。
第十一章 可见光与红外图像融合的应用
笔者：可见光与红外图像融合得到了广泛应用。
11.1 红外图像的常见应用总结
本节首先总结了红外图像在实际场景中的典型应用。作者指出，红外成像能够反映物体的热辐射信息，在弱光、夜间或复杂环境下具有明显优势。红外图像因此被广泛应用于目标检测、监控安防和军事等领域。
11.2 红外图像的缺点
本节分析了红外图像在实际应用中的不足之处。作者指出，红外图像通常缺乏纹理细节和颜色信息，分辨率也相对较低。这些缺点在一定程度上限制了红外图像在精细感知任务中的表现。
11.3 像素级可见光和红外图像融合的应用
本节重点介绍了像素级可见光与红外图像融合在实际应用中的表现。作者指出，该类方法通过直接融合源图像像素，可以同时保留红外图像的显著目标信息和可见光图像的丰富细节。像素级融合在目标检测、语义分割和三维重建等任务中表现出良好的应用价值。
11.4 其他层级的可见光与红外图像融合的应用
本节介绍了除像素级以外的其他融合层级在实际应用中的情况。作者指出，特征级和决策级融合方法对图像配准要求相对较低，更适合复杂或动态场景。这类方法在实际系统中具有更高的灵活性和实用性。
11.5 可见光与红外图像融合的应用小结
本节对前述应用内容进行了归纳总结。作者指出，不同融合层级各具特点，应根据具体应用需求进行选择。合理的融合策略能够显著提升系统的整体性能。
11.6 展望
本节从发展角度讨论了可见光与红外图像融合应用的未来方向。作者指出，随着深度学习和多模态感知技术的发展，融合方法将更加注重任务驱动和实际落地。同时，应用场景的不断拓展也对融合方法提出了更高要求。
11.7 小结
本节对第十一章进行了整体总结，强调可见光与红外图像融合在实际应用中的重要意义。作者指出，该方向已从理论研究逐步走向工程应用。本章为后续其他类型图像融合应用的介绍提供了参考。
第十二章 多聚焦图像融合的应用
笔者：多聚焦图像融合，除了好看，还要有用。
12.1 多聚焦图像融合的应用概述
本节介绍了多聚焦图像融合在实际应用中的整体作用。作者指出，多聚焦图像融合可以克服相机景深有限的问题，将多张局部清晰的图像融合为一张全局清晰的高质量图像。通过为下游任务提供更高质量的输入图像，多聚焦图像融合能够间接提升多种应用的性能。
12.2 基于多聚焦图像融合的远距离人脸检测
本节介绍了多聚焦图像融合在人脸检测任务中的具体应用。作者指出，在远距离成像条件下，人脸往往处于不同的聚焦状态，单幅图像难以完整呈现有效特征。通过多聚焦图像融合，可以增强人脸区域的清晰度，从而提高检测的准确性和稳定性。
12.3 基于多聚焦图像融合的光学显微图像融合
本节讨论了多聚焦图像融合在光学显微成像中的应用。作者指出，由于显微成像的景深极浅，不同深度结构往往无法在单张图像中同时清晰呈现。多聚焦图像融合可以有效整合不同焦平面的信息，生成结构完整、细节清晰的显微图像。
12.4 基于多聚焦图像融合的深度估计
本节介绍了多聚焦图像融合在深度估计任务中的应用。作者指出，聚焦程度与物体到相机的距离存在内在联系，通过融合不同聚焦状态的图像，可以为深度估计提供更丰富的信息。该方法为在无额外传感器条件下获取场景深度提供了一种有效途径。
12.5 小结
本节对第十二章内容进行了总结，强调多聚焦图像融合在多种实际应用中的促进作用。作者指出，该类融合方法主要通过提升输入图像质量来改善下游任务性能。本章为多曝光图像融合应用的讨论提供了重要参考。
第十三章 多曝光图像融合的应用
笔者：在未来一定会出现更多的基于多曝光图像融合的应用。
13.1 多曝光图像融合的应用概述
本节对多曝光图像融合在实际应用中的整体作用进行了概述。作者指出，多曝光图像融合能够有效缓解相机动态范围受限的问题，为下游视觉任务提供信息更完整、层次更丰富的输入图像。相较仅关注视觉效果的融合方式，应用导向的多曝光融合更强调对实际任务性能的促进作用。
13.2 基于多曝光图像融合的语义分割
本节重点介绍了多曝光图像融合在语义分割任务中的应用。作者指出，在复杂光照条件下，单一曝光图像往往难以同时保留暗部与亮部的有效语义信息。通过多曝光图像融合，可以提升分割模型对场景结构和语义区域的识别能力，从而改善分割结果的准确性与稳定性。
13.3 提升显微图像质量
本节讨论了多曝光图像融合在显微成像中的应用价值。作者指出，显微图像在成像过程中容易受到曝光不足或过度的影响，导致细节信息丢失。通过融合不同曝光条件下的显微图像，可以有效提升图像质量和结构清晰度，为后续分析提供更可靠的数据基础。
13.4 小结
本节对第十三章内容进行了总结，强调多曝光图像融合在多种应用场景中的实际意义。作者指出，该类融合方法通过改善输入图像质量，间接提升了下游任务的整体性能。本章进一步体现了图像融合由视觉增强走向任务服务的发展趋势。
第十四章 图像融合的前沿进展
笔者：了解未来，创造未来。
14.1 与其他任务相结合
本节介绍了将图像融合与其他视觉任务联合研究的前沿趋势。作者指出，传统像素级图像融合往往只关注生成融合图像，而不涉及下游任务。近年来，研究者开始将图像融合与去噪、图像质量提升、超分辨率等任务结合，不仅拓展了研究范围，也提升了模型的利用效率。这一方向已成为图像融合领域的热点之一。
14.2 通用图像融合方法
本节围绕通用图像融合方法的发展现状展开讨论。作者指出，尽管通用融合方法仍存在一定局限，但基于深度学习的通用图像融合性能正在不断提升。近年来，多个研究团队提出了基于 Transformer、连续学习和生成对抗网络的通用融合模型，使该方向逐渐成为图像融合领域的重要研究热点。
14.3 关于评价基准的研究
本节讨论了图像融合领域在评价基准方面的前沿进展。由于图像融合任务不存在标准答案，长期以来缺乏统一、权威的评价基准。近年来，多个针对不同融合任务的评价基准相继被提出，并逐渐被同行采用，评价基准研究已成为推动该领域发展的重要方向。
14.4 基于具体应用的融合方法性能评价
本节介绍了近年来基于具体应用进行融合方法评价的研究趋势。作者指出，传统评价指标难以全面反映融合算法性能，而将评价转移到具有标准答案的下游任务上，可以实现更加客观的比较。通过目标检测、语义分割等任务来评价融合效果，已成为近年来非常显著的研究趋势。
14.5 将图像配准和图像融合进行结合
本节讨论了将图像配准与图像融合联合建模的前沿研究方向。作者指出，由于可见光与红外图像在成像机制上的差异，精确配准本身具有很大挑战。近年来，一些研究尝试在同一框架中同时学习配准与融合，通过相互反馈提升整体性能，该方向具有较强的启发意义。
14.6 其他类型的图像融合
本节对近年来出现的一些新型图像融合任务进行了总结。作者介绍了可见光与近红外、偏振图像、RGB 图像、多视角图像、RGB-D 图像以及可见光与事件相机数据融合等方向。这些任务往往更关注下游应用性能，体现了图像融合研究在模态多样性和应用广度上的持续扩展。
14.7 小结
本节对本章内容进行了总结，概括了当前图像融合领域的若干前沿研究方向。作者指出，图像融合正不断与其他任务和新型传感器相结合，研究边界持续拓展。未来仍有大量新问题和新应用有待进一步探索。
第十五章 总结与展望
屈原：路漫漫其修远兮，吾将上下而求索。
15.1 总结
本节对全书内容进行了系统总结。作为第一本专门讨论基于深度学习的图像融合方法的著作，本书重点介绍了近年来快速发展的深度学习图像融合技术及其应用，涵盖可见光与红外图像融合、多聚焦图像融合和多曝光图像融合等核心任务。作者结合自身研究经历，对这些方向的代表性方法和应用进行了系统梳理，并简要介绍了近年来新出现的一些图像融合任务。通过全书内容可以看出，图像融合这一传统研究领域正因深度学习的引入而焕发新的活力，并吸引着越来越多研究人员的关注。
15.2 待解决的问题
本节总结了当前图像融合领域仍然存在的若干关键问题。作者指出，缺乏公认且有效的评价指标和客观的性能评价方法，仍然严重制约着图像融合算法的对比与发展。此外，相当一部分研究脱离实际应用，仅关注融合图像的视觉质量，而未验证其对下游任务的促进作用。作者还分析了图像融合在国际学术界受重视程度不足的现状，认为该领域仍需通过高质量、有实际价值的研究成果来提升国际影响力。
15.3 展望
本节对图像融合领域未来的发展方向进行了系统展望。作者认为，基于深度学习的图像融合方法仍将持续涌现，并不断吸收新的模型和学习范式。同时，未来研究将更加重视与实际任务的结合，应用驱动的图像融合方法有望成为主流方向。除此之外，评价指标与评价基准、图像配准问题、配准---融合---应用一体化、高效融合、多源图像融合以及新型传感器融合等问题，均是值得深入探索的重要方向。作者最后指出，融合这一思想不仅局限于图像领域，智能融合与人机融合将在更广泛的领域中展现出重要价值。
附录 A：图像融合相关的学术期刊和学术会议
图像融合正处于蓬勃发展的阶段，近年来越来越多研究工作发表于顶级学术期刊与会议，不断推动方法创新并拓展新的应用场景。为方便读者系统查阅相关文献及选择合适的投稿平台，作者对具有代表性的图像融合国际期刊与会议进行了整理，并在表 A.1 中给出了典型论文示例，供对比参考。需要指出的是，表中仅列举了部分高质量且方向契合的期刊与会议，实际接收图像融合研究的学术平台仍然十分广泛。
附录 B：图像融合相关开源代码下载链接。
相比计算机视觉中的其他研究方向，图像融合领域的开源氛围起步较晚，但已有部分研究者主动开源代码，为该领域的发展提供了重要支持。近年来，越来越多的图像融合方法开始配套开源，实现了研究可复现性的显著提升。作者整理了相关开源资源，并在其 GitHub 主页提供了下载链接，方便读者进一步学习与研究。
https://github.com/xingchenzhang
附录 C：图像融合论文写作经验
1. 研究动机要清楚
论文需要明确指出现有方法的不足之处，具体说明"问题在哪里、为什么存在、为何值得研究"，避免笼统和模糊的表述。清晰的研究动机是阐明创新性的基础，也是审稿人评价论文的重要依据。
2. 方法必须具有新意
论文应突出与已有工作的本质区别，避免简单堆叠常见模块而缺乏合理解释。真正有价值的工作应围绕新问题、新视角或新机制展开，并将创新点准确、集中地表达出来。
3. 实验设计要充分且合理
实验应覆盖足够数量且具有代表性的对比方法，尽量选择较新的工作进行比较。同时，定性结果与定量指标需同时给出，并合理解释评价指标的选择依据，以增强结论的可信度。
4. 算法细节必须描述完整
训练数据、网络结构、超参数设置等关键信息应完整给出，保证方法具有可复现性。重要细节缺失会直接影响审稿人对论文严谨性的判断。
5. 对实验结果进行深入分析
不仅要展示结果优于对比方法，还需要解释"为什么会更好"，体现作者对模型设计和实验现象的理解。充分的分析有助于提升论文的说服力。
6. 适当展示应用效果
在条件允许的情况下，展示方法在下游任务中的实际效果，如目标检测、跟踪或分割等，可以更直观地体现方法的实用价值，有助于提升论文整体质量。
融合之智 · 读后感
通读全书，能明显感受到作者对图像融合这一领域的长期投入与真挚热爱。作者用朴实而不失深度的语言，系统梳理了基于深度学习的图像融合方法与发展脉络，将复杂的问题讲清楚、讲透彻，既体现了扎实的专业功底，也展现了难得的耐心与责任感。
这不仅是一本技术著作，更是一份凝结多年研究经验的真诚分享。由衷感谢作者的付出与坚持。
全文整理自由作者张星辰创作的《融合之智：基于深度学习的图像融合》一书，可点击官方链接免费获取官方资源。
官方链接： https://xingchenzhang.github.io/imagefusionbook/
引用格式@《融合之智：基于深度学习的图像融合》
@book{zhang2025intelligence,
author = {Zhang, Xingchen},
title = {Intelligence of Fusion: Deep Learning-Based Image Fusion},
publisher = {Zenodo},
year = 2025,
month = jun,
doi = {10.5281/zenodo.17808948},
url = {https://doi.org/10.5281/zenodo.17808948},
}