1Synthesizing Efficient Data with Diffusion Models for Person Re-Identification Pre-Training
作者：Ke Niu1, Haiyang Yu1, Xuelin Qian2, Teng Fu1, Bin Li1, Xiangyang Xue1*单位：1复旦大学, 2西北工业大学
摘要：
现有的行人重识别( Re-ID )方法主要使用ImageNet - 1K数据集进行模型初始化，由于存在较大的领域鸿沟，难免会出现次优的情况。其中一个关键的挑战是构建大规模的行人Re - ID数据集非常耗时。之前的一些工作通过从互联网(例如, LUPerson)中收集人物图像来解决这个问题，但它难以从未标记的、不可控的和有噪声的数据中学习。在本文中，我们提出了一种新的范式Diffusion - ReID，在不需要任何数据收集和标注成本的情况下，基于已知的身份来有效地增强和生成多样化的图像。在技术上，该范式分生成和过滤两个阶段展开。在生成阶段，我们提出了语言提示增强( Language Prompts Enhancement，LPE )来保证输入图像序列和生成图像之间的ID一致性。在扩散过程中，我们提出了多样性注入( DI )模块来增加属性多样性。为了使生成的数据具有更高的质量，我们应用了一个Re - ID置信度阈值滤波器来进一步去除低质量图像。得益于我们提出的方法，我们首先创建了一个新的大规模行人重识别数据集Diff - Person，该数据集由来自5，183个身份的超过777K张图片组成。接下来，我们在Diff - Person上预训练构建一个更强的行人重识别骨干。在6个广泛使用的设置中，对4个人Re - ID基准进行了广泛的实验。与其他预训练和自监督的竞争者相比，我们的方法表现出了显著的优越性。
主要贡献：
基于扩散模型，我们开发了一个行人数据生成和过滤范式Diffusion - ReID，该范式可以有效地扩展现有的具有ID一致性和属性多样性的标注数据集。我们建立了一个由5，183个身份的超过777K张图片组成的带标注的行人Re - ID预训练数据集Diff - Person。该数据集是对现有数据集进行扩展，解决行人重识别中数据缺失和数据不平衡问题的重要一步。 我们基于Diff - Person预训练了一个行人重识别骨架，相比目前广泛使用的ImageNet - 1K预训练骨架，在6个广泛使用的场景下取得了提升。
创新点：
与现有的扩散模型不同，我们额外引入了语言提示增强( Language Prompts Enhancement，LPE )模块和多样性注入( Diversity Injection，DI )模块，分别用于保证ID一致性和属性多样性。具体来说，LPE模块将特定的ID图像序列和类别级别的提示P作为输入，通过预训练的图像描述模型生成具有细粒度局部细节和全局上下文信息的增强提示PE。在PE中，我们加入了一个身份信息形象代言人，用于在特征层面上映射文本嵌入和图像嵌入之间的ID信息。在扩散过程中，我们提出了多样性注入( DI )模块来提高属性多样性。具体来说，我们使用预训练的扩散模型生成一个属性参考集，并使用生成的图像计算特定细粒度的先验保留损失来微调扩散模型。在滤波阶段，采用Re - ID置信度阈值滤波器去除低质量图像。
简介：
Rand Person 8 开发了一种生成具有各种衣服、种族和属性的3D字符的方法，然后使用Unity3D模拟虚拟环境。PersonX 9 使用了一个开源的合成数据引擎PersonX来合成手工制作的3D人物模型。然而，这些方法存在一些缺陷：1 )它们与真实世界的数据之间存在明显的差异；2 )存储、共享和传输大量的虚拟环境和手工制作的三维人体模型成本很高；3 )特定的数据源限制了数据的数量和多样性。
框图：
1 Niu, K., Yu, H., Qian, X., Fu, T., Li, B., & Xue, X. (2024). Synthesizing Efficient Data with Diffusion Models for Person Re-Identification Pre-Training. arXiv preprint arXiv:2406.06045.