厦门大学联合网易提出StoryWeaver,可根据统一模型内给定的角色实现高质量的故事可视化

厦门大学联合网易提出StoryWeaver,可以根据统一模型内给定的角色实现高质量的故事可视化。可根据故事文本生成与之匹配的图像,并且确保每个角色在不同的场景中保持一致。本文的方法主要包括以下几个步骤:

  • 角色图构建:设计一个角色图(CG),将故事中的角色、事件和属性节点结构化表示。角色作为对象节点,属性节点则附加在角色上,角色之间的关系通过边连接,形成一个全面的知识网络。

  • 定制化生成:通过角色图(C-CG)进行定制化,生成详细的场景描述,捕捉角色的细节和它们之间的互动。使用视觉语言模型(VLM)提取图像的丰富语义信息,并通过场景图解析器提取事件相关的语义。

  • 知识增强的空间引导:在交叉注意力机制中引入知识增强的空间引导,以修改注意力图,确保角色在生成过程中的一致性。通过分配外部知识来优化角色在图像中的位置和关系,从而改善多角色生成的质量。

StoryWeaver 可以根据统一模型内给定的角色实现高质量的故事可视化。

相关链接

论文阅读

StoryWeaver:知识增强型故事角色定制的统一世界模型

摘要

故事可视化在人工智能领域越来越受到关注。然而,现有的方法仍然难以在角色身份保存和文本语义对齐之间保持平衡,这主要是由于缺乏对故事场景的详细语义建模。

为了应对这一挑战,论文提出了一种新的知识图谱即角色图谱(CG),它全面代表了各种与故事相关的知识,包括角色、与角色相关的属性以及角色之间的关系。然后介绍了StoryWeaver,这是一个通过角色图谱 (CCG) 实现定制的图像生成器,能够实现具有丰富文本语义的一致故事可视化。为了进一步提高多角色生成性能,论文将知识增强空间引导 (KE-SG) 结合到 StoryWeaver 中,以精确地将角色语义注入生成中。

为了验证提出方法的有效性,文中使用一个名为 TBC-Bench 的新基准进行了广泛的实验。实验证实 StoryWeaver 不仅擅长创造生动的视觉故事情节,而且还擅长在各种场景中准确传达人物身份,并且具有相当高的存储效率,例如,DINO-I 平均提升了 9.03%,CLIP-T 平均提升了 13.44%。此外,还进行了消融实验以验证所提模块的优越性。

方法

StoryWeaver 的整体框架。

a. 论文提出 Character-Graph 来表示故事世界中的语义丰富知识。

b. 通过提出的空间指导增强了 StoryWeaver,以进一步提高多角色生成的性能

通过字符图 (C-CG) 和知识增强空间引导 (KE-SG) 进行定制的影响的视觉示例。

a. 如果没有 C-CG,生成器将难以捕捉角色的更细粒度的细节。

b. 如果没有 KESG,生成器倾向于在所有区域均匀分配注意力,从而导致身份混合。

结果

不同方法在单角色和多角色视觉叙事上的视觉比较。StoryWeaver 擅长角色身份定制和匹配良好的语义对齐。

(a)单字符生成示例

(b)多字符生成示例

收集的角色和样本集中于两部动画片,即《波鲁鲁》和《冰雪奇缘》。这些样本包括对单个角色的详细描述以及展示多个角色之间互动的场景。

结论

论文提出了一个统一的模型StoryWeaver,该框架具有复杂的角色定制功能,可用于故事可视化。论文首先提出了一种新颖的角色图,它将故事世界中的丰富语义知识封装起来以增强StoryWeaver。然后引入知识增强的空间指导来改进交叉注意力图,以实现精确的多角色生成。实验结果表明,与一组单一和多重定制方法相比,StoryWeaver 在身份定制方面实现了更好的保真度,并实现了更好的语义对齐。

相关推荐
在下胡三汉40 分钟前
3dmax批量转glb/gltf/fbx/osgb/stl/3ds/dae/obj/skp格式导出转换插件,无需一个个打开max,材质贴图在
3d·材质·贴图
神马行空1 小时前
一文解读DeepSeek大模型在政府工作中具体的场景应用
人工智能·大模型·数字化转型·deepseek·政务应用
合合技术团队1 小时前
实测对比|法国 AI 独角兽公司发布的“最强 OCR”,实测效果如何?
大数据·人工智能·图像识别
蒹葭苍苍8731 小时前
LoRA、QLoRA微调与Lama Factory
人工智能·笔记
蹦蹦跳跳真可爱5891 小时前
Python----机器学习(基于PyTorch的线性回归)
人工智能·pytorch·python·机器学习·线性回归
xhload3d1 小时前
智能网联汽车云控平台 | 图扑数字孪生
3d·gis·智慧城市·html5·webgl·数字孪生·可视化·工业互联网·车联网·智慧交通·智能网联·汽车云控
mosquito_lover11 小时前
矿山边坡监测预警系统设计
人工智能·python·深度学习·神经网络·视觉检测
契合qht53_shine1 小时前
OpenCV 从入门到精通(day_03)
人工智能·opencv·计算机视觉
Naomi5212 小时前
Trustworthy Machine Learning
人工智能·机器学习
ssshooter2 小时前
2025 最新 AI 模型深度对比:ChatGPT、Claude、Gemini到底选谁?
程序员·aigc·openai