超火迷你GPT-4视觉能力暴涨,GitHub两万星,华人团队出品

GPT-4V来做目标检测?网友实测:还没有准备好。

虽然检测到的类别没问题,但大多数边界框都错放了。

没关系,有人会出手!

那个抢跑GPT-4看图能力几个月的迷你GPT-4升级啦------MiniGPT-v2

而且只是一句简单指令:[grounding] describe this image in detail就实现的结果。

不仅如此,还轻松处理各类视觉任务。

圈出一个物体,提示词前面加个 [identify] 可让模型直接识别出来物体的名字。

当然也可以什么都不加,直接问~

MiniGPT-v2由来自MiniGPT-4的原班人马(KAUST沙特阿卜杜拉国王科技大学)以及Meta的五位研究员共同开发。

上次MiniGPT-4刚出来就引发巨大关注,一时间服务器被挤爆,如今GItHub项目已超22000+星。

此番升级,已经有网友开始用上了~

多视觉任务的通用界面

大模型作为各文本应用的通用界面,大家已经司空见惯了。受此灵感,研究团队想要建立一个可用于多种视觉任务的统一界面,比如图像描述、视觉问题解答等。

「如何在单一模型的条件下,使用简单多模态指令来高效完成各类任务?」成为团队需要解决的难题。

简单来说,MiniGPT-v2由三个部分组成:视觉主干、线性层和大型语言模型。

该模型以ViT视觉主干为基础,所有训练阶段都保持不变。从ViT中归纳出四个相邻的视觉输出标记,并通过线性层将它们投影到 LLaMA-2语言模型空间中。

团队建议在训练模型为不同任务使用独特的标识符,这样一来大模型就能轻松分辨出每个任务指令,还能提高每个任务的学习效率。

训练主要分为三个阶段:预训练------多任务训练------多模式指令调整。

最终,MiniGPT-v2 在许多视觉问题解答和视觉接地基准测试中,成绩都优于其他视觉语言通用模型。

最终这个模型可以完成多种视觉任务,比如目标对象描述、视觉定位、图像说明、视觉问题解答以及从给定的输入文本中直接解析图片对象。

感兴趣的朋友,可戳下方Demo链接体验:

minigpt-v2.github.io/
huggingface.co/spaces/Visi...

论文链接:arxiv.org/abs/2310.09...

GitHub链接:github.com/Vision-CAIR...

参考链接:twitter.com/leoyerrrr

相关推荐
AI大模型2 小时前
LangGraph官方文档笔记(七)——Agent的输入输出
langchain·llm·agent
knqiufan2 小时前
深度解析影响 RAG 召回率的四大支柱——模型、数据、索引与检索
llm·milvus·向量数据库·rag
猫头虎6 小时前
猫头虎 AI工具分享:一个网页抓取、结构化数据提取、网页爬取、浏览器自动化操作工具:Hyperbrowser MCP
运维·人工智能·gpt·开源·自动化·文心一言·ai编程
北京地铁1号线8 小时前
GPT-2论文阅读:Language Models are Unsupervised Multitask Learners
论文阅读·gpt·语言模型
小爷毛毛_卓寿杰10 小时前
突破政务文档理解瓶颈:基于多模态大模型的智能解析系统详解
人工智能·llm
磊叔的技术博客10 小时前
LLM 系列(六):模型推理篇
人工智能·面试·llm
redreamSo16 小时前
AI Daily | AI日报:Nature:超14%生物医学论文或由AI代写; Grok 4测试成绩优异,数据真实性引争议; 李飞飞:攻克空间智能,为AGI补拼图
程序员·aigc·资讯
ResponsibilityAmbiti17 小时前
AI 发展 && MCP
人工智能·llm·aigc
AI大模型17 小时前
LangGraph官方文档笔记(6)——时间旅行
程序员·langchain·llm
CoderLiu1 天前
用这个MCP,只给大模型一个figma链接就能直接导出图片,还能自动压缩上传?
前端·llm·mcp