Huggingface Trending!可控人物图像生成统一框架Leffa,可精确控制虚拟试穿和姿势转换!

今天给大家介绍一个Huggingface上虚拟试穿的热门项目Leffa,Leffa是一个可控人物图像生成的统一框架,可以精确操纵外观(即虚拟试穿)和姿势(即姿势转换)。从效果看生成效果很不错!

相关链接

论文介绍

Leffa:学习注意力流场以实现可控人物图像生成

可控人物图像生成旨在根据参考图像生成人物图像,从而精确控制人物的外观或姿势。然而,先前的方法尽管实现了较高的整体图像质量,但却经常扭曲参考图像中的细粒度纹理细节。论文将这些扭曲归因于对参考图像中相应区域的注意力不足。为了解决这个问题,作者提出在注意力机制中学习流场(Leffa ),它在训练期间明确引导目标查询关注注意层中的正确参考键。具体而言,它是通过基于扩散的基线内注意力图之上的正则化损失来实现的。大量实验表明Leffa在控制外观(虚拟试穿)和姿势(姿势转换)方面实现了最佳性能,显着减少了细粒度细节失真,同时保持了高图像质量。此外,论文还证明了损失与模型无关,可以用来提高其他扩散模型的性能。

方法介绍

用于可控人物图像生成的Leffa训练流程的概述。左侧是基于扩散的基线;右侧是Leffa损失。Isrc 和 Itgt 在训练期间是同一张图像。

可视化

与其他方法的定性视觉结果比较。在虚拟试穿中,使用论文方法生成姿势转换的输入人物图像。可视化结果表明,该方法不仅可以生成高质量的图像,而且还大大减少了细粒度细节的失真。

可视化特征图以评估Leffa损失 Lleffa 的影响。添加 Leffa 损失后,该方法不仅保持了整体生成质量,而且更准确地保留了细粒度细节。此外,注意力图可视化表明,在该损失下,目标查询更精确地关注正确的参考区域。

结论

本文引入了正则化损失,即注意力机制中的学习流场 (Leffa),以增强可控人物图像生成。该方法不仅可以保持较高的整体图像质量,还可以减轻细粒度细节失真。通过将 Leffa 与不同的基于扩散的方法相结合来验证其有效性和泛化能力,在虚拟试穿和姿势转换任务中实现了显著的质量和数量改进。未来的工作将侧重于开发一个可以同时控制外观和姿势的统一模型。

相关推荐
kngines12 分钟前
【字节跳动】数据挖掘面试题0001:打车场景下POI与ODR空间关联查询
人工智能·数据挖掘·面试题
xingshanchang4 小时前
PyTorch 不支持旧GPU的异常状态与解决方案:CUDNN_STATUS_NOT_SUPPORTED_ARCH_MISMATCH
人工智能·pytorch·python
reddingtons5 小时前
Adobe Firefly AI驱动设计:实用技巧与创新思维路径
大数据·人工智能·adobe·illustrator·photoshop·premiere·indesign
CertiK5 小时前
IBW 2025: CertiK首席商务官出席,探讨AI与Web3融合带来的安全挑战
人工智能·安全·web3
Deepoch6 小时前
Deepoc 大模型在无人机行业应用效果的方法
人工智能·科技·ai·语言模型·无人机
Deepoch6 小时前
Deepoc 大模型:无人机行业的智能变革引擎
人工智能·科技·算法·ai·动态规划·无人机
kngines7 小时前
【字节跳动】数据挖掘面试题0003:有一个文件,每一行是一个数字,如何用 MapReduce 进行排序和求每个用户每个页面停留时间
人工智能·数据挖掘·mapreduce·面试题
Binary_ey7 小时前
AR衍射光波导设计遇瓶颈,OAS 光学软件来破局
人工智能·软件需求·光学软件·光波导
昵称是6硬币7 小时前
YOLOv11: AN OVERVIEW OF THE KEY ARCHITECTURAL ENHANCEMENTS目标检测论文精读(逐段解析)
图像处理·人工智能·深度学习·yolo·目标检测·计算机视觉
平和男人杨争争7 小时前
机器学习2——贝叶斯理论下
人工智能·机器学习