GPT-4o 级图像生成的民主化:Janus-4o 和 ShareGPT-4o-Image 挑战

概述

本文构建了一个名为 "ShareGPT-4o-Image "的新的大规模合成数据集,目的是将 GPT-4o 的高级图像生成功能转移到一个开源的多模态模型中。此外,还提出了一个使用该模型的多模态大规模语言模型 "Janus-4o"。

ShareGPT-4o-Image 由 45,000 个文本的图像生成数据和 46,000 个使用图像和文本的图像转换数据组成,这两个数据都是使用 GPT-4o-Image 生成的高质量样本。根据这些数据对现有的 Janus-Pro 模型进行微调后,Janus-4o 不仅能从文本生成图像,还能编辑图像(从文本+图像输入生成图像)。值得注意的是,只需 91K 个样本和 6 个小时的训练,Janus-4o 的性能就能超越以前的模型。

这项研究为高性能图像生成技术的民主化做出了贡献,是加速开放式多模态研究的重要一步。

建议的方法

ShareGPT-4o-Image 是一个合成数据集,旨在模仿和提炼 GPT-4o-Image 的功能。该数据通过两种生成方案创建。

一种是 "提示驱动",即定义属性(如对象、背景、风格),LLM 据此生成自然语言提示,GPT-4o-Image 据此输出图像。另一种是 "图像驱动",即 LLM 根据现有图像生成详细描述,并将其与图像配对以创建数据。图像编辑数据由原始图像、编辑说明和编辑图像三部分组成,基于 14 个不同的任务,涵盖了大量的样式转换和元素添加。

然后,利用该数据集对现有的 Janus-Pro 模型进行微调,从而开发出 Janus-4o,该模型的结构既适用于纯文本输入,也适用于文本+图像组合输入,旨在为每种输入提供适当的表征学习。

实验

Janus-4o 的性能在两个任务中进行了评估:从文本生成图像和图像编辑。

在从文本生成图像方面,使用了 GenEval 和 DPG-Bench 基准来衡量构图一致性和视觉保真度。结果显示,与 Janus-Pro 相比,GenEval 的性能提高了 4 个百分点,DPG-Bench 的性能提高了 1.6 个百分点。

同时,ImgEdit-Bench 基准对图像编辑能力进行了评估,该基准在移动变化和风格转换等详细编辑项目上获得了高分。尤其值得注意的是,在使用少量训练数据(91K)的情况下,其性能与其他使用超过 400 万数据的模型相当,甚至超过了它们。

此外,人类评估实验清楚地表明,在生成图像的视觉吸引力和教学保真度方面,Janus-4o 明显优于 Janus-Pro 和 UltraEdit。这证明了 ShareGPT-4o-Image 的高数据质量及其有效性。

相关推荐
羲云网络16 小时前
GPT Image 2.6 GIF 交付排障:上线后为什么只剩第一帧?
图像处理·人工智能·前端开发·gif
羲云网络3 天前
GPT Image 2.6 商品图交付:用文件指纹排查错图、覆盖与版本串线
图像处理·人工智能·python·技术教程·文件校验
VIP_CQCRE3 天前
GPT Image 2.6 选型别只看首张:用盲评与合格图耗时比较 Flare、Sunburst
软件测试·图像处理·人工智能
楚山之石7 天前
【Nat Biomed Eng】Connectome 2.0 超高梯度扫描仪:500 mT/m 与 600 T/m/s 把活体人脑微观结构分辨推进到亚微米级
图像处理·学习·数据分析·mri
Martina_03217 天前
AI生成的3D白模单帧没问题,镜头一移动就被挡?用6步检查遮挡与构图
图像处理·人工智能·数学建模·3d·ai·自然语言处理·游戏策划
Martina_032112 天前
AI生成3D场景从白模换成精模后镜头全偏了?用6步检查单位、枢轴与层级替换
图像处理·人工智能·3d·ai·自然语言处理·材质·1024程序员节
陈嘿萌13 天前
TIP 2026 | 不再混成一张! RealFusion从模态不变性重想图像融合
图像处理·人工智能·深度学习·计算机视觉·学术研究与理论基础
严肃小白兔14 天前
MATLAB 优秀开源项目与工具箱推荐:涵盖通信、图像处理、脑机接口等九大领域
图像处理·matlab·信息与通信·开源项目
陈嘿萌16 天前
ECCV 2026 | CausalDrive:澳门大学×小米汽车,面向自动驾驶的实时因果世界模型
图像处理·人工智能·深度学习·计算机视觉·自动驾驶·学术研究与理论基础
楚山之石16 天前
【MRM】CAPLEX 对比剂灌注 MRI 开源术语库:ISMRM OSIPI 共识报告
图像处理·人工智能·学习·mri