【论文阅读】Face2Diffusion for Fast and Editable Face Personalization

code:mapooon/Face2Diffusion: [CVPR 2024] Face2Diffusion for Fast and Editable Face Personalization https://arxiv.org/abs/2403.05094 (github.com)

论文

介绍

面部个性化旨在将从图像中获取的特定面部插入到预先训练的文本到图像扩散模型中。然而,由于对训练样本的过度拟合,以前的方法在保持身份相似性和可编辑性方面仍然具有挑战性。在本文中,我们提出了 Face2Diffusion (F2D),用于高可编辑性面部个性化。 F2D 背后的核心思想是从训练管道中删除与身份无关的信息可以防止过度拟合问题并提高编码面部的可编辑性。 F2D由以下三个新颖的组件组成:1)多尺度身份编码器提供了良好解开的身份特征,同时保留了多尺度信息的优势,从而提高了相机姿势的多样性。 2)表情引导,将人脸表情与身份分离,提高人脸表情的可控性。 3)分类引导去噪正则化鼓励模型学习如何对面部进行去噪,从而增强背景的文本对齐。对 FaceForensics++ 数据集的大量实验和多样化的提示表明,与之前最先进的方法相比,我们的方法极大地改善了身份保真度和文本保真度之间的权衡。

方法

实验

复现

相关推荐
s1ckrain1 小时前
【论文阅读】VARGPT-v1.1
论文阅读·多模态大模型·统一生成模型
Catching Star4 小时前
【论文笔记】【强化微调】Vision-R1:首个针对多模态 LLM 制定的强化微调方法,以 7B 比肩 70B
论文阅读·强化微调
王上上4 小时前
【论文阅读41】-LSTM-PINN预测人口
论文阅读·人工智能·lstm
s1ckrain16 小时前
【论文阅读】DeepEyes: Incentivizing “Thinking with Images” via Reinforcement Learning
论文阅读·强化学习·多模态大模型·vlm
张较瘦_1 天前
[论文阅读] 人工智能 + 软件工程 | 需求获取访谈中LLM生成跟进问题研究:来龙去脉与创新突破
论文阅读·人工智能
北京地铁1号线2 天前
GPT-2论文阅读:Language Models are Unsupervised Multitask Learners
论文阅读·gpt·语言模型
张较瘦_2 天前
[论文阅读] 人工智能 + 软件工程 | 软件架构中自然问题主动辅助研究:从挑战到解决方案
论文阅读·人工智能·软件工程
有Li3 天前
通过具有一致性嵌入的大语言模型实现端到端乳腺癌放射治疗计划制定|文献速递-最新论文分享
论文阅读·深度学习·分类·医学生
张较瘦_3 天前
[论文阅读] 人工智能 | 深度学习系统崩溃恢复新方案:DaiFu框架的原位修复技术
论文阅读·人工智能·深度学习
selia10783 天前
[论文阅读] Neural Architecture Search: Insights from 1000 Papers
论文阅读