DALL·E 3关键技术公开!19页论文揭秘如何对提示词“唯命是从”

出场即炸场的 DALL·E 3,又有新动向了!

这次直接宣布对 ChatGPT Plus企业版用户开放,还连带公开了更多 "官方推荐案例"。

不仅如此,OpenAI 还一纸论文透露了 DALL·E 3 的关键技术细节

相比其他 AI,DALL·E 3 表现最优秀的地方,应该就要属对提示词的完美遵循了。

无论是整体的环境描写,还是精确到物体数量、着装、颜色这种细节叙述,DALL·E 3 都能很好地理解,并生成对应的画作,丝毫不漏重点。

论文一公开,可以说是解决了 "如何让 DALL·E 3 遵循指令" 这一让诸多人困惑的问题,有网友感叹:

OpenAI 终于又 Open 了?

一起来看看这篇 DALL·E 3 论文的关键细节,以及它的更多用例。

先来看看 DALL·E 3 论文最大的亮点:提示词遵循(prompt following)。

此前,不少绘画 AI 会刻意忽略提示词中的某些关键词、或是混淆提示词的含义(多义词如 column,列还是柱子),简单来说就是文本提示词和画面细节没对齐。

OpenAI 的研究人员在经过一番分析后认为,这是数据集的锅。

现有的图像文本对数据集,文字对图像的描述可以说是 "惜字如金"。

尤其是从互联网上扒下来的数据集,大多数对图像的描述只有一句话,更别提细节了。包括环境、物体在内,容易忽略的文本描述主要有 4 类

  • 场景中物体描述,如厨房里的水槽、人行道上的停车标志等;
  • 物体位置和数量描述
  • 物体颜色和大小描述
  • 图像中的文本描述(如呈现在商店招牌上的字母 / 汉字)

除此之外,还有不少互联网上扒下来图像的文本描述,直接就是错误或不相关的,例如梗图或 Alt 文本(图像加载失败时网页上呈现的文字描述)。

为此,有必要将这些图像对应的文本数据重新整理一遍,更准确地描述图像中的场景和物品进行描述。

光靠人力是不太可能的,毕竟要生成的 "废话文学" 太多了。

和 RLHF 一样,OpenAI 同样将这个过程 "自动化" 了一波,让 AI 来完成这件事。

他们训练了一个 "图像字幕器"(image captioner),专门用来给数据集中的图像重新生成文本描述。

这是 "图像字幕器" 给数据集中的部分图片生成文本描述的效果:

这下子描述就详细多了。

那么,用 AI 来合成文本,实际训练出来的模型是否真能提升生成效果?

研究人员用开源模型(如 CLIP)测试了一波,得出的结论是可以。

不过也不能完全使用合成的文本描述,毕竟 AI 生成的内容可能有些 "神秘共性",直接全盘接受容易导致图像过拟合

因此,OpenAI 还在 CLIP 上尝试了一波合成文本描述 - 图像数据集的效果。

他们发现,数据集中混杂 95% 的合成文本 - 图像数据时,CLIP 的效果是最好的。

最终,他们决定 95% 的图像用合成文本描述,剩下的 5% 图像依旧使用人工描述,用这个比例的文本 - 图像数据集重新训练了 DALL·E 3,取得了不错的效果。

最后,OpenAI 也采用人工评估的方法,对 DALL·E 3 和其他模型进行了测试。

评估方法大致像这样,询问人类哪个图像能更好地遵循提示词、或生成更好看的图像。

结果显示,DALL·E 3 相比 Midjourney 5.2、SDXL 和 DALL·E 2,在提示词遵循、风格匹配等任务测试上均取得了不错的效果。

除了这篇论文以外,OpenAI 这次还公布了 DALL·E 3 的另一动向------向 ChatGPT Plus企业版开放。

在宣布这一消息的同时,OpenAI 也给出了企业和机构使用 DALL·E 3 的建议,例如做科学项目:

搞网站设计:

或是帮企业设计 LOGO:

当然,无论是 ChatGPT Plus 还是企业版,仍然也属于收费项目。

目前唯一可以免费玩到 DALL·E 3 的地方,应该还是微软的 New Bing。

对于 OpenAI 带来的 DALL·E 3 新消息,不少网友感觉振奋。

有网友表示,DALL·E 3 的出现真正给设计圈带来了改变,例如设计饮料包装等:

还有网友已经在催 API 的到来了:

但也有网友对这次更新不甚满意,尤其是对 DALL·E 3 论文涉及的技术信息表示了嘲讽:

直接用谷歌的 T5 文本编码器和卷积解码器,这就是公司发展太快的结果吗?

这里是网友提到的 DALL·E 3 论文细节:

要是对 DALL·E 3 的更多技术细节感兴趣,也可以到论文中找找答案~

论文地址:
cdn.openai.com/papers/dall...

参考链接:

[1]twitter.com/OpenAI/stat...

[2]openai.com/blog/dall-e...

版权所有,未经授权不得以任何形式转载及使用,违者必究。

相关推荐
蚝油菜花16 天前
王炸!Anthropic 推出全新模型 Claude 3.5 Haiku,首发支持计算机使用功能!
人工智能·llm·资讯
三花AI18 天前
Playground V3:图形设计模型的文字处理新标杆
开源·资讯
万界星空科技1 个月前
万界星空科技MES系统与各大系统的集成
产品·运营·资讯
战场小包3 个月前
OpenAI动荡,将走向何方、GPT5或许将近、毒舌AI轻松破防网友、最新版 GPT-4o AI 模型得满分 | AGI掘金视界周刊第 4 期
人工智能·资讯
字节跳动开源3 个月前
字节跳动开源多云多集群管理引擎 KubeAdmiral v1.0.0 发布!
开源·github·资讯
战场小包3 个月前
AI视界周刊第 2 期:里程碑 Llama 3.1 开源、AI训AI,越训越傻、AI 搜索重燃战火
人工智能·资讯
栩栩云生3 个月前
[240726] Mistral AI 发布新一代旗舰模型 | Node.js 合并 TypeScript 文件执行提案
typescript·node.js·资讯
赵侠客4 个月前
使用Hutool要注意了!升级到6.0后你调用的所有方法都将报错
java·后端·资讯
栩栩云生4 个月前
[240706] 史蒂夫·乔布斯近40年前就预言了苹果智能 | Globalping 用于网络诊断和性能测试的命令行工具
命令行·apple·资讯
栩栩云生5 个月前
[240622] X-CMD 发布 v0.3.12: 引入 codeberg,增强传统命令,改善对 Elvish 和 Fish 支持
开源·命令行·资讯