GPT-4V在自动驾驶corner case识别考试的答卷:你打几分?

GPT-4V在自动驾驶corner case识别考试的答卷:你打几分?

题记

图森中国CTO王乃岩用五个case对GPT-4V(ChatGPT推出的图像理解功能)在自动驾驶场景中的表现做了测试,令人印象深刻。

"大大震惊"一位CTO:GPT-4V自动驾驶五连测

5个case不够过瘾,于是我准备在更多的case上测试GPT-4V,对其在自动驾驶场景中的图片理解能力有更进一步的理解。


‍‍

数据集

自动驾驶传统的感知模型,需要标注交通灯、交通标志、道路标线、车辆、行人等各种类别的大量数据。一个难点就是那些出现情况比较少、人工标注很难覆盖到的corner case。为此,这次测试我专门找到了CODA,这个华为发布的自动驾驶corner case数据集。

coda-dataset.github.io/

人力所限,我只用到了CODA base val set这个子集,包含4884张图片,标注信息中包括29个类别的元素:


Prompt

此次测试使用的Prompt为:

你是一个自动驾驶专家,专长是识别交通场景,并做出驾驶决策。我将向你展示一系列自车拍摄的交通图片,请用精简、结构化的语言描述图中的道路状况、交通标识、交通参与者(可见范围内的所有行人、车辆等目标的特征、方位、行驶方向等)、周围环境、异常情况、自动驾驶策略。


说明与结论

下面的测试结果,以图片展现为主,我会用箭头➡️标识重要的关注点,用圆圈⭕️圈出GPT-4V相应的输出,绿色标识理解准确✅,红色标识理解有误❌。话不多说,请各位读图感受。

下文多图流量预警,所以先上结论

  • 在自动驾驶场景中,GPT-4V大模型以非常高的准确性,在路面修补、施工区域、工程车、雨雾、特殊行人、狗子等corner case中,表现优秀,展现出远超自动驾驶感知模型的世界知识。‍‍‍‍‍‍‍‍‍

  • 在夜色、炫光,以及目标互相交叠的场景中,GPT-4V的表现差强人意,其空间感知能力弱,幻觉严重。‍‍‍‍‍‍‍‍‍‍

‍‍‍‍

这个结论是在多场景下与GPT-4V对话得到的定性结论,主观性较强。 "如何定量地衡量视觉大模型在自动驾驶场景的表现?" 这个问题也在测试过程中不断在脑袋中回响。现在我有一些零散的想法,如果你也感兴趣,欢迎在文末的评论区留言交流。‍‍‍‍‍‍‍‍‍‍‍

以下就是本次测试的场景,包括:‍‍‍‍‍‍‍

  • 那路‍‍

  • 那车

  • 那人

  • 那狗

  • 像雾,像雨,像雪

  • 夜色,炫光

  • 西湖,走走


那路

雨后湿滑

修修补补

高架桥下

金属板材

土方堆积

建筑框架


那车

中国道路上那些狂野的车们。‍‍‍

工程车:靠得太近,误认为合体

作业平台

混凝土搅拌机

还有这样的

三轮车:挺别致

外卖

运输车:谁敢比我长

装点货


那人

人在旅途

重叠遮挡

手里有个啥?

送水的人

几多车,几多人

孩子呢


那狗

狗子

这个误会大了

"那人好像一条狗啊!"

我牵着你

荒村,黑狗

穿行中,勿扰

我是一只狗,不是一只羊


像雾,像雨,像雪

"天空它下着沙"

下雨🌧了,快回家

因为雨天,所以卡车?

快到雪地里撒个欢

雨天路滑

打伞的人,还有雕塑


夜色,炫光‍‍

夜色温柔

你的影子无所不在

红的不是车,是光

还这么坚持?

亮瞎了!


西湖,走走

绿杨烟里

白沙堤

以上就是我这次测试的所有出题和GPT-4V的答卷,你会给它打几分?

由于时间关系,我没有对GPT-4V在每个case上追问更多问题,就它第一次回答直接做了判卷。也许深入的发问,可以让它消除一些幻觉。同时,Prompt可以进一步优化,以获得更加丰富和结构化的结果。大家可以进一步探索。

相关推荐
LCG元5 小时前
自动驾驶感知模块的多模态数据融合:时序同步与空间对齐的框架解析
人工智能·机器学习·自动驾驶
坤坤爱学习2.019 小时前
求医十年,病因不明,ChatGPT:你看起来有基因突变
人工智能·ai·chatgpt·程序员·大模型·ai编程·大模型学
我不是哆啦A梦1 天前
破解风电运维“百模大战”困局,机械版ChatGPT诞生?
运维·人工智能·python·算法·chatgpt
陈敬雷-充电了么-CEO兼CTO1 天前
大模型技术原理 - 基于Transformer的预训练语言模型
人工智能·深度学习·语言模型·自然语言处理·chatgpt·aigc·transformer
小溪彼岸2 天前
GPT-4o的修图能力强的可怕?
chatgpt·aigc
asyxchenchong8882 天前
ChatGPT、DeepSeek等大语言模型助力高效办公、论文与项目撰写、数据分析、机器学习与深度学习建模
机器学习·语言模型·chatgpt
Mr.Winter`2 天前
障碍感知 | 基于3D激光雷达的三维膨胀栅格地图构建(附ROS C++仿真)
人工智能·机器人·自动驾驶·ros·具身智能·环境感知
赛丽曼2 天前
Assistant API的原理及应用
人工智能·chatgpt
c++服务器开发3 天前
一文详解Character AI:实用指南+ ChatGPT、Gemini对比分析
人工智能·chatgpt
香宝的最强后援XD4 天前
Cursor无限邮箱续费方法
语言模型·chatgpt·文心一言