前一阵子 Stable Diffusion 1.8 发布了!
更新了很多有用的功能
- 处理性能优化,跑图节省显存消耗
- 内置 LCM 采样器
- 支持 SDXL-inpainting 模型
- Soft inpainting
今个分享下我觉得比较有意思震惊我的功能 Soft inpainting
,可以实现毫无违和感的局部重绘
Soft inpainting
Soft inpainting 可以将原始内容和修复内容无缝地融合在一起。在局部重绘的时候,可以毫无违和的将原图和遮罩图像进行融合。
这在 Stable Diffusion 1.8之前其实挺难实现的,不管是调整羽化值还是抠出细致蒙版图,最后的出图效果都还是有些瑕疵
使用
Soft inpaninting 是 Stable Diffusion 1.8 新功能,所以需要先升级到1.8
接着来看个例子看看局部重绘和开启了 Soft inpainting 后的差异效果
生成背景底图
这块大家可以根据自己需要生成即可。
model: majicmixRealistic_v7
prompt: A forest, highly detailed
Negative prompt: natural, colorful, deformed, sketch, low contrast, watercolor
Steps: 35
背景图
局部重绘效果
先来看看使用默认的局部重绘效果
添加遮罩
将生成的背景图放到图生图局部重绘中,用画笔在图生扣出一块放我们要重绘的区域
修改提示词参数
比如,我希望在遮罩区域中添加一个女孩的背景
prompt: back of 1girl in a forest,highly detailed
参数修改好后,直接出图
emmm... 这个效果还是比较瘆人的。
可以很明显的看出来遮罩边界和背景图融入的非常生硬。而且融入时会丢东西(🐶)脚不见了~
Soft inpainting
使用 soft inpainting,默认情况下我们只需要打开 Soft inpainting,并将蒙版模糊调大就可以得到比较好的结果!
修改参数后生成
Soft Inpainting 参数
打开 Soft inpainting 后可以看到几个参数配置
Schedule bias 时间表偏差
时间表偏差会在每个步骤中调整原始内容的保留。默认值为 1 时。简单来说就是在重绘时如何保留原图的内容
Schedule Bias < 1
在小于1时,会在出图靠后的步数后更多的保留原图内容。
Schedule Bias > 1
在大于1时,则相反,会在出图开始的步数更多的保留原图内容。
在小于1的时候,原图的内容保留的比较少,保留了更多的修复内容。并不能很好的融合到原图中
Preservation strength
Preservation strength 的作用和 Schedule bias 的效果是一样的。区别在于 Schedule bias 随着值的变化是指数性的改变。
而 Preservation strength 是线性变化
Transition contrast boost
transition contrast boost 过渡对比度增强控制原始内容和修复内容混合的锐度。
低值会产生柔和的混合,到修复区域的过渡很顺利。
高值会产生强烈的对比度。它允许急剧过渡到原始内容。
Difference threshold
差异阈值控制在不显示重绘内容的情况下允许进行多少更改。
增加差异阈值更多地显示原始内容,直到整个图片不变。可以实现淡出效果。
写在最后
感兴趣的小伙伴,赠送全套AIGC学习资料,包含AI绘画、AI人工智能等前沿科技教程和软件工具,具体看这里。
AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。
一、AIGC所有方向的学习路线
AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。
二、AIGC必备工具
工具都帮大家整理好了,安装就可直接上手!
三、最新AIGC学习笔记
当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。
四、AIGC视频教程合集
观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。
五、实战案例
纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。