Huggingface Trending!可控人物图像生成统一框架Leffa,可精确控制虚拟试穿和姿势转换!

今天给大家介绍一个Huggingface上虚拟试穿的热门项目Leffa,Leffa是一个可控人物图像生成的统一框架,可以精确操纵外观(即虚拟试穿)和姿势(即姿势转换)。从效果看生成效果很不错!

相关链接

论文介绍

Leffa:学习注意力流场以实现可控人物图像生成

可控人物图像生成旨在根据参考图像生成人物图像,从而精确控制人物的外观或姿势。然而,先前的方法尽管实现了较高的整体图像质量,但却经常扭曲参考图像中的细粒度纹理细节。论文将这些扭曲归因于对参考图像中相应区域的注意力不足。为了解决这个问题,作者提出在注意力机制中学习流场(Leffa ),它在训练期间明确引导目标查询关注注意层中的正确参考键。具体而言,它是通过基于扩散的基线内注意力图之上的正则化损失来实现的。大量实验表明Leffa在控制外观(虚拟试穿)和姿势(姿势转换)方面实现了最佳性能,显着减少了细粒度细节失真,同时保持了高图像质量。此外,论文还证明了损失与模型无关,可以用来提高其他扩散模型的性能。

方法介绍

用于可控人物图像生成的Leffa训练流程的概述。左侧是基于扩散的基线;右侧是Leffa损失。Isrc 和 Itgt 在训练期间是同一张图像。

可视化

与其他方法的定性视觉结果比较。在虚拟试穿中,使用论文方法生成姿势转换的输入人物图像。可视化结果表明,该方法不仅可以生成高质量的图像,而且还大大减少了细粒度细节的失真。

可视化特征图以评估Leffa损失 Lleffa 的影响。添加 Leffa 损失后,该方法不仅保持了整体生成质量,而且更准确地保留了细粒度细节。此外,注意力图可视化表明,在该损失下,目标查询更精确地关注正确的参考区域。

结论

本文引入了正则化损失,即注意力机制中的学习流场 (Leffa),以增强可控人物图像生成。该方法不仅可以保持较高的整体图像质量,还可以减轻细粒度细节失真。通过将 Leffa 与不同的基于扩散的方法相结合来验证其有效性和泛化能力,在虚拟试穿和姿势转换任务中实现了显著的质量和数量改进。未来的工作将侧重于开发一个可以同时控制外观和姿势的统一模型。

相关推荐
吕永强36 分钟前
人工智能与环境:守护地球的智能防线
人工智能·科普
兮℡檬,43 分钟前
房价预测|Pytorch
人工智能·pytorch·python
白-胖-子6 小时前
深入剖析大模型在文本生成式 AI 产品架构中的核心地位
人工智能·架构
小溪彼岸6 小时前
初识Google Colab
google·aigc
小溪彼岸6 小时前
【Hugging Face】Hugging Face模型的基本使用
aigc
想要成为计算机高手7 小时前
11. isaacsim4.2教程-Transform 树与Odometry
人工智能·机器人·自动驾驶·ros·rviz·isaac sim·仿真环境
静心问道7 小时前
InstructBLIP:通过指令微调迈向通用视觉-语言模型
人工智能·多模态·ai技术应用
宇称不守恒4.08 小时前
2025暑期—06神经网络-常见网络2
网络·人工智能·神经网络
小楓12018 小时前
醫護行業在未來會被AI淘汰嗎?
人工智能·醫療·護理·職業
墨风如雪8 小时前
会“偷懒”的大模型来了:快手开源KAT-V1,终结AI“过度思考”
aigc