AI实践:发掘图像流潜力,打造拿捏设计师的室内设计智能体

前言

最近有同事在讨论购房,看房是个麻烦事,装修更是个麻烦事,怎么装,具体装成啥样,都是比较模糊的想象。

当时听到大家再聊这个话题,脑海中就想如果未来有一天需要购买装修,会喜欢什么样的风格。肯定希望可以提供更独特,更多样的选择,并且还不需要额外的支出,最好能融入自己的设计理念,那该怎么实现呐?没错,想方设法的借助 AI。在 AI 生图领域 Stable Diffusion、Flux、ComfyUI 等诸如此类的工具特别多,效果虽说都特别好,但是都有一个共同的缺点,那就是存在一定的上手门槛。

coze 平台再推出工作流后不久,推出了图像流,专用于搭建图像类别的智能体应用,然后有一个特别特别坑和搞的点,最近一段时间没能够投入全部精力到AI中,登陆上 coze 后才发现,咦,图像流那?

coze 将图像流整合到了工作流中,增加了一定的心智成本,接下来会详细的介绍一下,跨过这个坎,图像流还是手到擒来的。

coze 图像流

图像生成节点

在工作流中添加了图像生成节点,图像生成节点包含以下模块

  1. 模型:包含通用(Pro)、人像、动漫、油画、3D基础模型和空间、 LOGO 设计进阶模型。例如本文的目的是室内设计,空间模型可能会非常契合。
  2. 生成图像大小和质量
  3. 参考图:相当于 controlnet 模型,通俗来讲就是用来约束图像的,AI 生图的原理是扩散模型,扩散也就意味着非常随机,使用参考图可以约束随机的方向。例如边缘轮廓,可以约束模型生成时沿用传入图像的边缘;风格融合、人物一致、人物姿势则分别约束生成的风格、人物和姿势,使得AI生图会有一定的可控性。本文会着重使用空间深度,可以获取图像的深度信息,保证生成的室内不偏离原图。

参考图最多设定四个,每个参考图可以设定约束强度,值越大,模型的自由发挥程度越小,一般设置在0.3-0.7之间。 参考图还有一个特别坑的地方,不能接收上游节点传来的img链接,只能接收coze图像节点生成的图片,或者手动上传,具体该怎么克服,在实践部分会细讲。

  1. 输入:可以接受上游工作流节点的输出
  2. 提示词,coze 特别友好的一点在于提示词可以使用中文写;此外coze 还提供了提示词优化插件,对输入的提示词进行专业性优化。

图像生成插件

点击插件节点,左侧菜单选择图像,勾选仅展示官方插件:

插件节点粗略的可以分为两类,右侧是图像编辑节点,可以实现简单的图像编辑;左侧是一些智能图像应用,例如换脸、美颜啊、抠图啊,基本囊括了日常的图像处理,以往在 ps 中半天的操作,在 coze 中几秒钟就可以搞定。

除了官方的图像处理插件,还有许多个人提供的插件,可以搭配起来进行使用。

画板

画板节点是一个支持自定义绘制的图形创作节点。画板节点通常用于图文排版和设计场景,例如电商海报、营销 banner、社交媒体博文配图等。

通俗理解,就是一个排版的工具,将工作流中生成的图像啊、文案啊进行个性化、创意化的排版,实现各式各样的效果,例如后续会分享使用搭建生成公众号或者小红书首页图的工作流,其中很关键的一步就是画板节点。

搭建装修工作流

上一篇文章AI实践:2小时带你使用 coze+windsurf 打造一个网站内容提取谷歌插件讲过,工作流其实就是面向过程,只要能梳理清楚各个流程,然后选择合适的节点,连接起来,就可以搭乘完成。

那么一个实现室内设计或装修的工作流,需要有哪些步骤那:

  1. 待装修室内照片,想要的风格,一些其他要求。风格是核心要素,使用提示词优化插件节点
  2. 将所获得的参数输入到图像生成节点,配置合适的模型和参数,生成图片

具体可以总结为下面的流程图,那么就开始实现吧

配置输入节点

coze 近几天进行了改版,本篇文章的截图会与第一篇略有区别

提示词优化节点

对输入的风格进行提示词优化,获得更专业、更适合大模型的提示词,使用起来非常简单,只需要配置输入即可。

可以点击右上角测试一下当前节点,输入日式轻奢,会生成一串英文的提示词,翻译日式轻奢的同时,会携带着一些通用逻辑提示词。

图像生成节点

图像生成节点的配置难点在于模型的选择和参考图的使用,一般情况来说,根据场景选择特定的模型,例如生成肖像便可以选择人像模型;想获得动漫风格的图像,使用动漫模型。在图像生成节点提供的模型中,空间模型与室内设计比较贴近,但是经过诸多尝试,发现,不论使用何种风格的提示词,生成的图像总带有科技风,这可能是因为空间模型在训练过程中使用了更多的现代空间图片,导致形成了偏向于科技风、现实风的风格,如果正是要生成更具科技感和冷色调的装修风格,推荐空间模型,这里为了更加多样化,使用通用模型(通用pro模型暂时不支持图像参考模式)。

参考图这部分踩了个大坑,当直接将输入节点连接到图像生成节点后,参考图竟然获取不到变量,与最开始的图像流使用方法存在差别。尝试了各种方法,例如设置变量,重新连接等,都无法获取图像信息。

最后多方请教,终于得出了解决方案:在新的图像生成节点中,参考图来源必须是由官方提供的插件或者图像生成节点的输出,无法直接接收其他节点传来的图像连接。

那么只需要在输入节点后,接入一个图像处理节点即可。一种可以接入图像编辑节点,不设置任何编辑,相当于做了一层中转,将url转换成可以识别的图像节点;第二种使用图像优化节点,这里使用画质提升节点,接收输入的image参数,输出经过优化的图片。一方面实现了链接到图片的中转,另一方面还能提高图片的质量。

室内设计的前提是尽可能要保证生成的设计图不能过分的偏离原图,因此引入了空间深度和边缘轮廓进行双重约束,其中空间深度关系到原图中各个墙体的布局情况,比较核心,约束强度设置为 0.7,边缘轮廓则是对整体的轮廓进行约束,例如墙的形状、墙的位置等,作为辅助约束,设置为 0.3。

正向提示词使用优化后的 style 和 额外输入的其他要求 prompt 即可,负向提示词使用一套建筑领域比较通用的提示词。

js 复制代码
(worst quality:2),(low quality:2),(normal quality:2),lowres,bad anatomy,bad hands,((monochrome)),((grayscale)) watermark,moles,blurred picture,

测试工作流

百度随便照一张毛胚房图片,点击试运行,输入

  • prompt:米色色调、地中海风格、玻璃透明感、木地板、红木家具
  • style:日式轻奢

效果还是挺不错的,再来多做几组尝试,在这个过程中,如果不满意,可以反复的调节参考图和提示词。若希望生成的图像更具创造性,可以降低参考图的约束。

  • prompt:现代浪漫主义风格,田园风光
  • style:法国浪漫,清新、亮丽、现代为基调

经过上述测试,虽然出图的效果还算不错,但是也存在几个比较明显的问题

  1. 生成的设计图有几分跳脱,难以控制,这是由于使用了通用模型,不具有对建筑的特化性,同样的参数分别换成空间模型,会更具有现代建筑风格。

空间模型在训练的过程中更多的学习了现代建筑图像,可以理解为sd 中的建筑 LORA。

再切换动漫效果尝试一下:

2. 使用的约束强度过大,使得自由发挥的空间有些小,这部分需要根据经验慢慢调整参数。

搭建智能体

工作流搭建完成后,需要为工作流搭建一个舞台,以实现根据用户的不同需求定制不同的室内设计场景。

coze 官方提供了智能体功能,可以方便的构建各类交互应用,具体创建方法:

智能体的设计是一门大学问,这里先抛砖引玉一下,讲一下比较基础的智能体配置。

人设与回复逻辑

要指明智能体是干啥的,具体任务是啥,本文实现的智能体是装修设计,那么细致的写一下角色信息,一般使用 markdown 语法进行编写。

md 复制代码
## 角色
你是一位专业的室内设计师,能够凭借自己的经验和专业知识,根据用户上传的图片和风格进行室内设计

## 技能
1. 用户上传图片后,链接作为工作流输入,不启用工作流
2. 询问用户装修风格,例如:日式、美式等
3. 询问是否有其他需求
4. 上述步骤完成后,启动工作流

## 限制
- 仅输出与室内设计相关的内容

不要怕写的不够好,写清楚具体的思路后,coze提供了AI智能优化人设的功能,点击优化,替换即可,如果不满意,可以做一些微调。

工作流

将搭建的工作流引入,便可以实现一个简单的智能体。

模型选择

推荐使用豆包 Function call 模型,智能体交互过程采用了三个步骤,设定携带上下文轮数为3,为了更好的实现设计效果,可以选择创意模式。

总结

coze 移除掉图像流后,处理图像类似的操作变得复杂了一些,但是整体思路并没有发生变化,图像流本身就是一种特殊的工作流,融合到一起也是合理的。

本节带大家一起实践了一个装修智能体,可以实现各种场景的装修,效果还是不错的,但是也存在一些缺点,coze提供的图像模型种类较少,难以实现较为复杂的图像应用,其二可调控也比较差,对于初阶应用足够,对于复杂的应用就略显不足了。

相关推荐
算力魔方AIPC33 分钟前
Meta重磅发布Llama 3.3 70B:开源AI模型的新里程碑
人工智能·llama
CSBLOG42 分钟前
深度学习试题及答案解析(一)
人工智能·深度学习
四口鲸鱼爱吃盐44 分钟前
Pytorch | 利用VMI-FGSM针对CIFAR10上的ResNet分类器进行对抗攻击
人工智能·pytorch·python
四口鲸鱼爱吃盐1 小时前
Pytorch | 利用PI-FGSM针对CIFAR10上的ResNet分类器进行对抗攻击
人工智能·pytorch·python
边缘计算社区1 小时前
吉快科技荣膺“金边奖·最佳大模型一体机”,引领AI边缘新时代
人工智能·科技
新智元1 小时前
LeCun 八年前神预言,大模型路线再颠覆?OpenAI 宣告:强化学习取得稳定性突破
人工智能·openai
电子海鸥1 小时前
迁移学习--fasttext概述
人工智能·机器学习·迁移学习
因_果_律1 小时前
亚马逊云科技 re:Invent 2024重磅发布!Amazon Bedrock Data Automation 预览版震撼登场
大数据·人工智能·科技·亚马逊云科技·re invent
新智元1 小时前
李飞飞谢赛宁:多模态 LLM「空间大脑」觉醒,惊现世界模型雏形!
人工智能·llm
dwjf3211 小时前
机器学习(三)-多项式线性回归
人工智能·机器学习·线性回归