目录

An Empirical Study of GPT-3 for Few-Shot Knowledge-Based VQA

本文是LLM系列文章,针对《An Empirical Study of GPT-3 for Few-Shot Knowledge-Based VQA》的翻译。

GPT-3对基于小样本知识的VQA的实证研究

摘要

基于知识的视觉问答(VQA)涉及回答需要图像中不存在的外部知识的问题。现有的方法首先从外部资源中检索知识,然后对所选知识、输入图像和问答预测进行推理。然而,这种两步走的方法可能会导致失配,从而潜在地限制VQA性能。例如,检索到的知识可能是嘈杂的,与问题无关,并且在推理过程中重新嵌入的知识特征可能偏离其在知识库(KB)中的原始含义。为了应对这一挑战,我们提出了PICa,这是一种简单而有效的方法,通过使用图像字幕来提示GPT3,用于基于知识的VQA。受GPT-3在知识检索和问答方面的能力的启发,我们不再像以前的工作那样使用结构化知识库,而是将GPT-3视为一种隐式和非结构化知识库来联合获取和处理相关知识。具体来说,我们首先将图像转换为GPT-3能够理解的字幕(或标签),然后通过提供几个上下文中的VQA示例,调整GPT-3以以多样本的方式解决VQA任务。我们通过仔细研究来进一步提高性能:(i)什么样的文本格式最能描述图像内容,以及(ii)如何更好地选择和使用上下文中的示例。PICa解锁了GPT-3在多模式任务中的首次使用。通过仅使用16个示例,PICa在OK-VQA数据集上以绝对值+8.6分的优势超过了监督的现有技术。我们还在VQAv2上对PICa进行了基准测试,其中PICa也表现出了不错的小样本性能。

引言

相关工作

方法

OK-VQA上的实验

VQAv2上的实验

结论

我们提出了PICa,这是一种使用GPT-3进行基于小样本的VQA的方法。PICa没有使用明确的结构化知识库来检索和推理外部知识,而是通过提示GPT-3来联合获取和处理相关知识。它继承了GPT-3强大的小样本能力,并以显著的优势超过了OK-VQA上的监督技术。分析表明,我们的方法隐含地获取了相关知识来回答问题。

本文是转载文章,点击查看原文
如有侵权,请联系 xyy@jishuzhan.net 删除
相关推荐
飞哥数智坊1 分钟前
从“工具人”到“超级个体”:程序员如何在AI协同下实现能力跃迁
人工智能
chenqi12 分钟前
WebGPU和WebLLM:在浏览器中解锁端侧大模型的未来
前端·人工智能
罗西的思考1 小时前
[2W字长文] 探秘Transformer系列之(23)--- 长度外推
人工智能·算法
小杨4042 小时前
python入门系列十四(多进程)
人工智能·python·pycharm
阿坡RPA17 小时前
手搓MCP客户端&服务端:从零到实战极速了解MCP是什么?
人工智能·aigc
用户277844910499317 小时前
借助DeepSeek智能生成测试用例:从提示词到Excel表格的全流程实践
人工智能·python
机器之心17 小时前
刚刚,DeepSeek公布推理时Scaling新论文,R2要来了?
人工智能
算AI19 小时前
人工智能+牙科:临床应用中的几个问题
人工智能·算法
凯子坚持 c20 小时前
基于飞桨框架3.0本地DeepSeek-R1蒸馏版部署实战
人工智能·paddlepaddle
你觉得20520 小时前
哈尔滨工业大学DeepSeek公开课:探索大模型原理、技术与应用从GPT到DeepSeek|附视频与讲义下载方法
大数据·人工智能·python·gpt·学习·机器学习·aigc