前言
最近有同事在讨论购房,看房是个麻烦事,装修更是个麻烦事,怎么装,具体装成啥样,都是比较模糊的想象。
当时听到大家再聊这个话题,脑海中就想如果未来有一天需要购买装修,会喜欢什么样的风格。肯定希望可以提供更独特,更多样的选择,并且还不需要额外的支出,最好能融入自己的设计理念,那该怎么实现呐?没错,想方设法的借助 AI。在 AI 生图领域 Stable Diffusion、Flux、ComfyUI 等诸如此类的工具特别多,效果虽说都特别好,但是都有一个共同的缺点,那就是存在一定的上手门槛。
coze 平台再推出工作流后不久,推出了图像流,专用于搭建图像类别的智能体应用,然后有一个特别特别坑和搞的点,最近一段时间没能够投入全部精力到AI中,登陆上 coze 后才发现,咦,图像流那?
coze 将图像流整合到了工作流中,增加了一定的心智成本,接下来会详细的介绍一下,跨过这个坎,图像流还是手到擒来的。
coze 图像流
图像生成节点
在工作流中添加了图像生成节点,图像生成节点包含以下模块
- 模型:包含通用(Pro)、人像、动漫、油画、3D基础模型和空间、 LOGO 设计进阶模型。例如本文的目的是室内设计,空间模型可能会非常契合。
- 生成图像大小和质量
- 参考图:相当于 controlnet 模型,通俗来讲就是用来约束图像的,AI 生图的原理是扩散模型,扩散也就意味着非常随机,使用参考图可以约束随机的方向。例如边缘轮廓,可以约束模型生成时沿用传入图像的边缘;风格融合、人物一致、人物姿势则分别约束生成的风格、人物和姿势,使得AI生图会有一定的可控性。本文会着重使用空间深度,可以获取图像的深度信息,保证生成的室内不偏离原图。
参考图最多设定四个,每个参考图可以设定约束强度,值越大,模型的自由发挥程度越小,一般设置在0.3-0.7之间。 参考图还有一个特别坑的地方,不能接收上游节点传来的img链接,只能接收coze图像节点生成的图片,或者手动上传,具体该怎么克服,在实践部分会细讲。
- 输入:可以接受上游工作流节点的输出
- 提示词,coze 特别友好的一点在于提示词可以使用中文写;此外coze 还提供了提示词优化插件,对输入的提示词进行专业性优化。
图像生成插件
点击插件节点,左侧菜单选择图像,勾选仅展示官方插件:
插件节点粗略的可以分为两类,右侧是图像编辑节点,可以实现简单的图像编辑;左侧是一些智能图像应用,例如换脸、美颜啊、抠图啊,基本囊括了日常的图像处理,以往在 ps 中半天的操作,在 coze 中几秒钟就可以搞定。
除了官方的图像处理插件,还有许多个人提供的插件,可以搭配起来进行使用。
画板
画板节点是一个支持自定义绘制的图形创作节点。画板节点通常用于图文排版和设计场景,例如电商海报、营销 banner、社交媒体博文配图等。
通俗理解,就是一个排版的工具,将工作流中生成的图像啊、文案啊进行个性化、创意化的排版,实现各式各样的效果,例如后续会分享使用搭建生成公众号或者小红书首页图的工作流,其中很关键的一步就是画板节点。
搭建装修工作流
上一篇文章AI实践:2小时带你使用 coze+windsurf 打造一个网站内容提取谷歌插件讲过,工作流其实就是面向过程,只要能梳理清楚各个流程,然后选择合适的节点,连接起来,就可以搭乘完成。
那么一个实现室内设计或装修的工作流,需要有哪些步骤那:
- 待装修室内照片,想要的风格,一些其他要求。风格是核心要素,使用提示词优化插件节点
- 将所获得的参数输入到图像生成节点,配置合适的模型和参数,生成图片
具体可以总结为下面的流程图,那么就开始实现吧
配置输入节点
coze 近几天进行了改版,本篇文章的截图会与第一篇略有区别
提示词优化节点
对输入的风格进行提示词优化,获得更专业、更适合大模型的提示词,使用起来非常简单,只需要配置输入即可。
可以点击右上角测试一下当前节点,输入日式轻奢,会生成一串英文的提示词,翻译日式轻奢的同时,会携带着一些通用逻辑提示词。
图像生成节点
图像生成节点的配置难点在于模型的选择和参考图的使用,一般情况来说,根据场景选择特定的模型,例如生成肖像便可以选择人像模型;想获得动漫风格的图像,使用动漫模型。在图像生成节点提供的模型中,空间模型与室内设计比较贴近,但是经过诸多尝试,发现,不论使用何种风格的提示词,生成的图像总带有科技风,这可能是因为空间模型在训练过程中使用了更多的现代空间图片,导致形成了偏向于科技风、现实风的风格,如果正是要生成更具科技感和冷色调的装修风格,推荐空间模型,这里为了更加多样化,使用通用模型(通用pro模型暂时不支持图像参考模式)。
参考图这部分踩了个大坑,当直接将输入节点连接到图像生成节点后,参考图竟然获取不到变量,与最开始的图像流使用方法存在差别。尝试了各种方法,例如设置变量,重新连接等,都无法获取图像信息。
最后多方请教,终于得出了解决方案:在新的图像生成节点中,参考图来源必须是由官方提供的插件或者图像生成节点的输出,无法直接接收其他节点传来的图像连接。
那么只需要在输入节点后,接入一个图像处理节点即可。一种可以接入图像编辑节点,不设置任何编辑,相当于做了一层中转,将url转换成可以识别的图像节点;第二种使用图像优化节点,这里使用画质提升节点,接收输入的image参数,输出经过优化的图片。一方面实现了链接到图片的中转,另一方面还能提高图片的质量。
室内设计的前提是尽可能要保证生成的设计图不能过分的偏离原图,因此引入了空间深度和边缘轮廓进行双重约束,其中空间深度关系到原图中各个墙体的布局情况,比较核心,约束强度设置为 0.7,边缘轮廓则是对整体的轮廓进行约束,例如墙的形状、墙的位置等,作为辅助约束,设置为 0.3。
正向提示词使用优化后的 style 和 额外输入的其他要求 prompt 即可,负向提示词使用一套建筑领域比较通用的提示词。
js
(worst quality:2),(low quality:2),(normal quality:2),lowres,bad anatomy,bad hands,((monochrome)),((grayscale)) watermark,moles,blurred picture,
测试工作流
百度随便照一张毛胚房图片,点击试运行,输入
- prompt:米色色调、地中海风格、玻璃透明感、木地板、红木家具
- style:日式轻奢
效果还是挺不错的,再来多做几组尝试,在这个过程中,如果不满意,可以反复的调节参考图和提示词。若希望生成的图像更具创造性,可以降低参考图的约束。
- prompt:现代浪漫主义风格,田园风光
- style:法国浪漫,清新、亮丽、现代为基调
经过上述测试,虽然出图的效果还算不错,但是也存在几个比较明显的问题
- 生成的设计图有几分跳脱,难以控制,这是由于使用了通用模型,不具有对建筑的特化性,同样的参数分别换成空间模型,会更具有现代建筑风格。
空间模型在训练的过程中更多的学习了现代建筑图像,可以理解为sd 中的建筑 LORA。
再切换动漫效果尝试一下:
2. 使用的约束强度过大,使得自由发挥的空间有些小,这部分需要根据经验慢慢调整参数。
搭建智能体
工作流搭建完成后,需要为工作流搭建一个舞台,以实现根据用户的不同需求定制不同的室内设计场景。
coze 官方提供了智能体功能,可以方便的构建各类交互应用,具体创建方法:
智能体的设计是一门大学问,这里先抛砖引玉一下,讲一下比较基础的智能体配置。
人设与回复逻辑
要指明智能体是干啥的,具体任务是啥,本文实现的智能体是装修设计,那么细致的写一下角色信息,一般使用 markdown 语法进行编写。
md
## 角色
你是一位专业的室内设计师,能够凭借自己的经验和专业知识,根据用户上传的图片和风格进行室内设计
## 技能
1. 用户上传图片后,链接作为工作流输入,不启用工作流
2. 询问用户装修风格,例如:日式、美式等
3. 询问是否有其他需求
4. 上述步骤完成后,启动工作流
## 限制
- 仅输出与室内设计相关的内容
不要怕写的不够好,写清楚具体的思路后,coze提供了AI智能优化人设的功能,点击优化,替换即可,如果不满意,可以做一些微调。
工作流
将搭建的工作流引入,便可以实现一个简单的智能体。
模型选择
推荐使用豆包 Function call 模型,智能体交互过程采用了三个步骤,设定携带上下文轮数为3,为了更好的实现设计效果,可以选择创意模式。
总结
coze 移除掉图像流后,处理图像类似的操作变得复杂了一些,但是整体思路并没有发生变化,图像流本身就是一种特殊的工作流,融合到一起也是合理的。
本节带大家一起实践了一个装修智能体,可以实现各种场景的装修,效果还是不错的,但是也存在一些缺点,coze提供的图像模型种类较少,难以实现较为复杂的图像应用,其二可调控也比较差,对于初阶应用足够,对于复杂的应用就略显不足了。