南开提出1Prompt1Story,无需训练,可通过单个连接提示实现一致的文本到图像生成。

(1Prompt1Story)是一种无训练的文本到图像生成方法,通过整合多个提示为一个长句子,并结合奇异值重加权(SVR)和身份保持交叉注意力(IPCA)技术,解决了生成图像中身份不一致的问题,同时保持了文本描述的精准对齐。

相关链接

论文介绍

论文出了一种无需训练的方法1Prompt1Story,通过单个连接提示实现一致的文本到图像生成。我们的方法可以应用于所有基于文本嵌入的文本到图像模型。此外,它还支持多字符生成、ControlNet 引导生成和个性化生成逼真的图像。

方法

(a):1Prompt1Story 的整体流程。我们将身份提示和框架提示合并为一个提示,然后应用奇异值重加权 (SVR) 和身份保留交叉注意力 (IPCA) 来生成身份一致的图像。(b):在SVR期间,我们首先增强表达集X_exp的语义信息(红色箭头),然后迭代地削弱抑制集X_sup的语义(蓝色箭头)。(c):在IPCA中,我们将 K_tilde 与 K_bar 连接,将 V_tilde 与 V_bar 连接,以提高身份一致性。

(左):1Prompt1Story 可以与 ControlNet 集成,以实现空间控制,从而实现一致的角色生成。(右):此外,我们的方法还可以与其他方法(例如 PhotoMaker)结合使用,以实现真实图像个性化,同时提高身份一致性。

结果展示

现有方法(上)在 T2I 生成一致性方面面临挑战。SDXL 和 Juggernaut-X-v10 等 T2I 模型在生成的图像之间经常表现出明显的身份不一致。尽管包括 IP-Adapter 和 ConsiStory 在内的最新方法已经提高了身份一致性,但它们失去了生成的图像与相应输入提示之间的一致性。我们方法的其他结果(下)展示了卓越的一致性,同时不损害文本和图像之间的一致性。

对帧提示顺序的鲁棒性。使用同一组帧提示但不同的顺序,我们的方法 1Prompt1Story 可以一致地生成具有统一标识的图像。

多主题故事生成。通过在身份提示中定义多个主题,我们的方法生成具有多个角色的图像,每个图像都保持良好的身份一致性。

种子变化。通过使用不同的种子,1Prompt1Story 可以生成具有不同背景的图像,同时保持一致的身份。

与不同的基础模型相结合。

相关推荐
gutsyang7 分钟前
Google Stitch:最佳实践
人工智能·google·gemini·stitch
gloomyfish16 分钟前
【最新认知】2026 | 深度学习工业缺陷检测三种技术路线分析与趋势
人工智能·深度学习
Deepoch30 分钟前
Deepoc具身模型开发板:赋予机械狗“荒野求生”级VLA智能
人工智能·科技·开发板·具身模型·deepoc
阿里云大数据AI技术30 分钟前
阿里云大数据AI平台升级发布:构筑智能体时代的核心基石
人工智能
AI自动化工坊35 分钟前
DeerFlow 2.0实战指南:生产级AI Agent框架的Docker化部署与并行编排
人工智能·docker·ai·容器·开源
AI营销先锋1 小时前
原圈科技GEO解密:AI营销变革下,如何抢占增长先机?
大数据·人工智能
冬奇Lab1 小时前
一天一个开源项目(第56篇):人人都能用英语 - AI 时代的外语学习开源项目
人工智能·开源·资讯
前端摸鱼匠2 小时前
【AI大模型春招面试题12】Scaling Laws揭示了模型性能、数据量、计算量之间的什么关系?
人工智能·ai·语言模型·面试·大模型
yuhulkjv3352 小时前
deepseek怎么复制表格
人工智能·ai·chatgpt·豆包·deepseek·ai导出鸭
小陈工2 小时前
2026年3月26日技术资讯洞察:WebAssembly崛起、AI代码质量危机与开源安全新挑战
人工智能·python·安全·架构·开源·fastapi·wasm