DragGAN:用崭新的方式进行图像处理

该项目的论文被SIGGRAPH 2023 收录,论文以 StyleGAN2 架构为基础,实现了 "Drag" 关键点就能轻松 P 图的效果。

https://github.com/XingangPan/DragGAN

https://vcai.mpi-inf.mpg.de/projects/DragGAN/

目录

在官方 Demo 中,作者轻触鼠标,一拖一拽,让狗狗微笑、让猫咪"Wink"、让倒影拉长、让太阳升起...完美贴合现实世界的物理结构和物理逻辑。DragGAN 源代码正式放出,目前在 GitHub 上已有超过 20,000 颗星标。

根据论文中的介绍,DragGAN 是一种用于直观基于点的图像编辑的交互方法 。利用预先训练的 GAN 来合成不仅精确跟随用户输入的图像,而且停留在真实图像的流形上。与之前的许多方法相比,是一个不依赖于特定领域的建模或辅助网络的通用框架。

这是基于两种新方法实现的:一是对隐编码的优化,这些隐编码增量地将多个抓取点移动到它们的目标位置 ;二是通过点跟踪过程来准确地跟踪抓取点的轨迹。这两个组件利用 GAN 中间特征图的判别质量来进行图像变形,实现交互性能。目前已经证明,此方法在基于 GAN 的操作中优于最先进的方法,并为使用生成先验的强大图像编辑开辟了新的方向。而对于未来的工作,作者计划将基于点的编辑扩展到 3D 生成模型。

原图1

测试一

测试二

测试三

原图2

测试一

测试二

原图3

测试


参考文献

https://huggingface.co/spaces/DragGan/DragGan

https://openxlab.org.cn/apps/detail/XingangPan/DragGAN

https://zhuanlan.zhihu.com/p/639963515

相关推荐
qy-ll7 天前
遥感论文学习
人工智能·深度学习·计算机视觉·gan·遥感·栅格化
AIminminHu14 天前
底层视觉及图像增强-项目实践-细节再<十六-9,如何用AI实现LED显示画质增强:总结再回顾>:从LED大屏,到手机小屏,快来挖一挖里面都有什么
gan·real-esrgan·esrgan
东经116度25 天前
生成对抗网络(GAN)
深度学习·gan·模式崩塌
云雾J视界1 个月前
开关电源拓扑工程宝典:从原理到实战的深度设计指南
gan·boost·开关电源·1024程序员节·buck·拓扑电路
加油吧zkf1 个月前
生成式对抗网络 GAN:从零理解生成对抗网络的原理与魅力
人工智能·python·gan
_Meilinger_2 个月前
碎片笔记|生成模型原理解读:AutoEncoder、GAN 与扩散模型图像生成机制
人工智能·生成对抗网络·gan·扩散模型·图像生成·diffusion model
nju_spy2 个月前
李沐深度学习论文精读(二)Transformer + GAN
人工智能·深度学习·机器学习·transformer·gan·注意力机制·南京大学
大千AI助手3 个月前
生成对抗网络(GAN):深度学习领域的革命性突破
人工智能·深度学习·生成对抗网络·gan·生成模型·ian goodfellow·对抗训练
努力还债的学术吗喽3 个月前
2021 IEEE【论文精读】用GAN让音频隐写术骗过AI检测器 - 对抗深度学习的音频信息隐藏
人工智能·深度学习·生成对抗网络·密码学·音频·gan·隐写
啊哈哈哈哈哈啊哈哈4 个月前
G9打卡——ACGAN
python·生成对抗网络·gan