44.83%!ChatGPT的艺术风格识别是这个水平

原文:44.83%!ChatGPT的艺术风格识别是这个水平

ChatGPT"与图对话"初体验 文中,我们对ChatGPT的艺术鉴赏能力做了初步的测试,其结论是"艺术风格识别:一半一半",具体来讲:

对于风格强烈的画风(比如立体主义、现实主义等)识别率高;对于风格不那么强烈或者比较细分的流派(比如风俗画,被误认为是洛可可),识别率低。

因此在艺术鉴赏方面,ChatGPT还需要进一步提高。

有读者留言表示对这部分比较感兴趣,希望能了解更多信息;我自己对ChatGPT的艺术鉴别挺好奇,它到底能多大程度上理解不同的艺术流派和风格,于是有了进一步的探索:我想定量测试一下ChatGPT对不同艺术风格的识别率。


方法与过程

正好前不久看到一篇非常有意思的文章:

Exploring Art History with Midjourney Prompts

nftartwithlauren.com/exploring-a...

顾名思义,用Midjourney提示词探索艺术史:作者让ChatGPT罗列出了59种(文中最后有图片呈现的风格是58种)不同时期流行的艺术风格,然后让Midjourney(现在最流行的文字生成图片的AI之一)以一个芭蕾舞者为主题生成不同风格的图片,从而完成一次对艺术史的视觉探索。

我觉得这是一次非常有创意的艺术教育历程,可以非常直观地感受各种各样艺术风格的流变,从古埃及到现在:

在这个工作的基础上,我将Midjourney画的不同风格的画给ChatGPT看,让它识别是哪一种艺术风格,将其识别结果与Midjourney提示词种设定的风格做对比,从而得到一个ChatGPT艺术风格识别能力的定量描述。相当于让Midjourney扮演考官,给ChatGPT出题,做对打勾 ✅,做错打叉 ❌,最后评个分,看看及格不及格。

下面是我与ChatGPT的对话:

其Prompt为:

I will give you some pictures of a beautiful girl each time, and the pictures are in different art styles listed following. Which kind of art style does each uploaded picture of the beautiful girl belong to? Give the answer in the format: Picture {#NO} -> {#STYLE}. The STYLE should be exactly one of the listed kinds of art style I give to you. If you can not tell which one, the STYLE should be 'unknown'. The listed art styles are (separated by ;): Egyptian Art;Greek Art;Roman Art;Byzantine Art;Romanesque Art;Gothic Art;Early Christian Art;Islamic Art;Carolingian Art;Ottonian Art;Pre-Romanesque Art;Insular Art;Minoan Art;Hiberno-Saxon Art;Mycenaean Art;Viking Art;Celtic Art;Coptic Art;Macedonian Art;Persian Art;Etruscan Art;Chinese Art;Japanese Art (Heian period);Indian Art (Gupta period);Pre-Columbian Art;Rococo;Neoclassicism;Romanticism;Genre Painting;Portraiture;Hudson River School;Realism;Pre-Raphaelite Brotherhood;Impressionism;Post-Impressionism;Symbolism;Art Nouveau;Orientalism;Landscape Painting;Fauvism;Cubism;Expressionism;Academic Art;Dada;Surrealism;Abstract Expressionism;Pop Art;Op Art;Minimalism;Conceptual Art;Stukism;Photorealism;Street Art;Digital Art;New Media Art;Hyperrealism;Post-Internet Art;Insta-Art/Social Media Art

中文翻译:

每次我会给你一些美女的图片,这些图片采用下列的不同艺术风格。每张上传的美女图片分别属于哪种艺术风格?请以这种格式回答:图片 {#编号} -> {#风格}。风格应该是我给你列出的艺术风格中的一个。如果你无法判断,风格应为"未知"。

列出的艺术风格如下(以分号分隔):

埃及艺术;希腊艺术;罗马艺术;拜占庭艺术;罗曼式艺术;哥特式艺术;早期基督教艺术;伊斯兰艺术;查理曼艺术;奥托尼安艺术;前罗曼式艺术;岛屿艺术;米诺安艺术;希伯尼亚-撒克逊艺术;迈锡尼艺术;维京艺术;凯尔特艺术;科普特艺术;马其顿艺术;波斯艺术;伊特鲁里亚艺术;中国艺术;日本艺术(平安时代);印度艺术(古普塔时代);前哥伦布艺术;洛可可;新古典主义;浪漫主义;题材画;肖像画;哈德逊河派;现实主义;前拉斐尔兄弟会;印象派;后印象派;象征主义;新艺术;东方主义;风景画;野兽派;立体主义;表现主义;学院派艺术;达达派;超现实主义;抽象表现主义;波普艺术;Op艺术;极简主义;观念艺术;斯图基斯姆;摄影艺术;街头艺术;数字艺术;新媒体艺术;超现实主义;后互联网艺术;Insta-Art/社交媒体艺术。

在此之前,我先和它进行了如下对话:

这样做的目的是确认ChatGPT知道这些艺术风格具体是什么。

整个过程总结如下:


** **

结果与分析

因为ChatGPT每次对话现在最多上传4张图片,58张不同风格的图片要经历15轮对话才能识别完成:

最后将结果汇总到下面的"艺术风格识别.excel"文件中:

然后再借助ChatGPT的"Advanced Data Analysis"(原Code Interpreter)功能(彻底变懒了,Excel公式都不愿意敲),让分析出识别率:

44.83% !58种艺术风格,ChatGPT能正确辨认的只有26种,接近开头所述"一半一半"的影像。

进一步分析得到容易被其他风格误识别的五种风格:

  1. 浪漫主义 (Romanticism) - 3次
  2. 印象派 (Impressionism) - 3次
  3. 数字艺术 (Digital Art) - 2次
  4. 米诺安艺术 (Minoan Art) - 2次
  5. 立体主义 (Cubism) - 2次

其分布图

ChatGPT分析的误识别可能原因包括:

  1. 训练数据的问题:如果训练数据中某些风格的样本数量很少或不均衡,那么模型在识别这些风格时可能会出现问题。

  2. 模型复杂度:简单的模型可能无法捕捉到各种艺术风格之间的细微差异。

  3. 特征选择:用于训练模型的特征可能不是最佳的,可能需要考虑更多或不同的特征。

  4. 艺术风格的模糊性:某些艺术风格可能在某些方面与其他风格非常相似,这可能导致模型在识别时出错。

我仔细看了一下识别错误的结果,确实可以得到一些印证:

  1. 不同艺术风格的相似性。比如科普特艺术和古埃及艺术,本身就有继承性:

还比如印象派 vs 后印象主义,我是看不出有什么太大的不同:

还有这个让人抓狂的"超写实主义" vs "照相写实主义",你能分辨?

  1. ChatGPT就是不认识这种艺术风格。比如Dada艺术,尽管我试了非常多次,它都会被识别成立体主义,这两者之间的风格差异还是非常大的。

还比如伊斯兰艺术,总是会被误识别成印度艺术(古普塔时期)这种明显不同的艺术:

这可能是训练数据的问题,也有可能是模型复杂度的问题,前者可能性更大。


总结

44.83%

这是ChatGPT现在对58种艺术风格识别的准确性。这个数字可能并不精确,可以多跑几次取平均值,不过大致应该就是这个水平。

ChatGPT对艺术风格的识别肯定是超过一般人,但离高水平的艺术史家,还有一段长长的微调的路要走。

【完】


【往期相关】

ChatGPT"与图对话"初体验

ChatGPT发布语音和图像能力重大更新:要点解读、应用畅想与原文翻译

相关推荐
草莓屁屁我不吃4 小时前
深入解析两大AI模型的架构与功能
人工智能·chatgpt
AIGC小哈5 小时前
AIGC教程:如何用Stable Diffusion+ControlNet做角色设计?
ai作画·stable diffusion·aigc·dall·e 2
surfirst8 小时前
如何使用 ChatGPT 生成万字长文?
人工智能·chatgpt
高性能服务器8 小时前
AI 赋能大模型:从 ChatGPT 到国产大模型的角逐与发展契机
人工智能·chatgpt
wly4769230838 小时前
研究生如何利用ChatGPT帮助开展日常科研工作?
人工智能·gpt·chatgpt·ai作画·stable diffusion·excel·音视频
AI 研习所11 小时前
2.4K star的GOT-OCR2.0:端到端OCR 模型
人工智能·aigc
武汉唯众智创12 小时前
利用ChatGPT实现的生成式人工智能自动化控制系统
人工智能·chatgpt·生成式人工智能
知来者逆13 小时前
探索基于知识图谱和 ChatGPT 结合制造服务推荐前沿
人工智能·语言模型·自然语言处理·chatgpt·知识图谱·大语言模型·多模态
三月七(爱看动漫的程序员)1 天前
Enhancing Trust in LLMs: Algorithms for Comparing and Interpreting LLMs
人工智能·gpt·语言模型·chatgpt·prompt·知识图谱·boosting
小和尚同志1 天前
Dify 工作流分享-JinaSum
人工智能·aigc