在这个AI技术飞速发展的时代,我们见证了许多神奇的创新,比如最近火遍朋友圈的"Diffree"。这可不是一款新推出的手机游戏,而是一项能让设计师和摄影师们欢呼雀跃的AI图像处理技术。
它能够根据你的文字描述,在图片中"无痕迹"地添加新物体,就像拥有了一件"隐身斗篷"。你不需要手动添加遮罩或模板,模型就能自动预测对象的位置和形状,实现无缝融合添加新对象。
想象一下:用一句话就能神器在照片中变出新物品。比如,在一个阴天的夜晚拍了一张很美的风景,但是,当天没有月亮,很是遗憾。传统的软件需要找一张月亮的素材,抠出来,然后在添加到风景照片里。还要调节各种色相饱和度。
今天用Diffree这个软件,只需要在操作框里输入一句话"添加一个月亮",这时你的照片里唰的一声就把月亮添加进去了,而且月亮就好像是原本从天空升上来的一样和背景完美融合,毫无违和感。
和其他同类软件不同的是,它不需要你手动绘制任何遮罩或边界框,模型就能自动预测对象的位置和形状,实现无缝融合添加新对象。与此同时,添加进去的东西还能与原始图像保持一致(光线、色调、颜色等)。
我们来看看它是怎么做到的?
文字描述输入:你只需要告诉 Diffree 你想要添加什么,比如"添加一个月亮"。
掩码预测:Diffree 会预测月亮应该出现在图像中的哪个位置,以及它的大致形状。这个过程就像在照片上画一个虚拟的轮廓,告诉 AI" 月亮就应该在这里"。
逐步生成:然后,Diffree 会开始工作。它不会一下子把月亮生硬的"贴"在照片上,而是逐步生成新的图像。这有点像拼图游戏,AI 会一块一块地把新图像拼起来,但每一块都非常注意与原始图像背景的融合。这样,新添加的对象看起来就像是原本就存在于图像中一样自然。
背景保留:在整个过程中,Diffree 都非常小心地保留原始图像的背景信息。无论是光线、阴影还是纹理,AI 都确保新对象能够无缝融入其中。
再想象一下,你是一位室内设计师,需要向客户展示不同装饰品的效果。以前,你可能需要手动P图或者重新拍摄,但现在,你只需要告诉Diffree你的需求,它就能在照片中"神不知鬼不觉"地添加上新的装饰品,而且看起来毫无违和感。
你可以告诉 Diffree"添加一张沙发"和"添加一个书架",然后,这些物品就会毫无违和感地出现在照片中。
你甚至可以一步一步地添加更多的东西,比如"添加一盏吊灯"或者"添加一张咖啡桌"。
每一个添加的对象都会无缝融合,看起来就像是原本就在那里一样。
项目地址:https://github.com/OpenGVLab/Diffree
一键整合包下载:Diffree - AI一键P图,告别P图困扰,只需要输入一段文字就能轻松玩转P图的神器 本地一键整合包下载
使用教程 (只支持N卡,显存8G起)
打开一键整合包,上传一张需要修改的图像,如下图
对象描述输入需要添加的物体,比如 给杜老爷子戴上墨镜,就输入 sunglasses
参数建议默认,可以调整下出图步数,硬件差点的,步数可以调低些。
设置完成后,直接点生成即可。
下方可以设置是否显示生成的过程视频
以及生成对比和蒙版效果图