Microsoft 图像BERT,基于大规模图文数据的跨模态预训练

视觉语言任务是当今自然语言处理(NLP)和计算机视觉领域的热门话题。大多数现有方法都基于预训练模型,这些模型使用后期融合方法融合下游任务的多模态输入。然而,这种方法通常需要在训练期间进行特定的数据注释,并且对于许多多模态任务来说,满足这一要求仍然非常困难和昂贵。Microsoft研究人员最近发表的一篇论文提出了一种新的视觉语言预训练模型,用于图像 - 文本联合嵌入,ImageBERT,它在MSCOCO(图像检索任务)和Flickr 30k(文本检索)数据集上都实现了SOTA性能。

与Google的BERT(来自变压器的双向编码器表示)语言模型一样,ImageBERT是基于Transformer的。它采用不同的模态(文本和视觉标记)作为输入,通过嵌入层编码到不同的嵌入中。然后将这些嵌入输入多层双向自注意力转换器,该转换器训练跨模态转换器来建模图像和文本之间的关系。

ImageBERT模型架构

数据的数量和质量对于视觉语言任务的跨模型预训练至关重要,因此研究人员开发了一种弱监督方法,用于从互联网收集大规模图像文本数据,以提高预训练性能。他们的大规模weAk监督图像文本(LAIT)数据集包括10万个视觉语言对(图像+描述),并用于预训练ImageBERT模型。

弱监督数据收集管道

在LAIT之后,研究人员在第二阶段对公共数据集概念标题(最广泛使用的图像文本预训练数据)和SBU标题(SBU标题照片数据集)对模型进行了预训练。该模型同时在研究人员设计的四个任务上进行预训练,以对文本和视觉内容及其相互关系进行建模:

**任务1:**掩蔽语言建模(MLM) --这与BERT培训中的MLM相同。它提出了一个新的预训练目标,并能够训练深度双向嵌入。

**任务2:**屏蔽对象分类 (MOC) -- MLM 任务的扩展。

**任务3:**屏蔽区域特征回归 (MRFR) -- 与 MOC 类似,此任务还通过更精确的对象特征预测工作对视觉内容进行建模。

**任务4:**图像文本匹配 (ITM) -- 学习图像-文本对齐的任务。

实验结果表明,多阶段预训练方法比单阶段预训练方法取得了更好的效果。研究人员还进行了微调,并将预训练的ImageBERT模型与SOTA方法在图像检索和文本检索任务上进行了比较,其中ImageBERT在MSCOCO和Flickr30k数据集上都获得了最佳结果。

研究人员希望他们的新模型和数据集能够进一步推进跨模态预训练的研究和发展。

论文ImageBERT:使用大规模弱监督图像文本数据的跨模态预训练发表在arXiv上。

相关推荐
hie988941 分钟前
MATLAB锂离子电池伪二维(P2D)模型实现
人工智能·算法·matlab
晨同学03273 分钟前
opencv的颜色通道问题 & rgb & bgr
人工智能·opencv·计算机视觉
蓝婷儿14 分钟前
Python 机器学习核心入门与实战进阶 Day 3 - 决策树 & 随机森林模型实战
人工智能·python·机器学习
大千AI助手16 分钟前
PageRank:互联网的马尔可夫链平衡态
人工智能·机器学习·贝叶斯·mc·pagerank·条件概率·马尔科夫链
小和尚同志39 分钟前
Cline | Cline + Grok3 免费 AI 编程新体验
人工智能·aigc
我就是全世界1 小时前
TensorRT-LLM:大模型推理加速的核心技术与实践优势
人工智能·机器学习·性能优化·大模型·tensorrt-llm
.30-06Springfield1 小时前
决策树(Decision tree)算法详解(ID3、C4.5、CART)
人工智能·python·算法·决策树·机器学习
我不是哆啦A梦1 小时前
破解风电运维“百模大战”困局,机械版ChatGPT诞生?
运维·人工智能·python·算法·chatgpt
galaxylove1 小时前
Gartner发布塑造安全运营未来的关键 AI 自动化趋势
人工智能·安全·自动化
强哥之神2 小时前
英伟达发布 Llama Nemotron Nano 4B:专为边缘 AI 和科研任务优化的高效开源推理模型
人工智能·深度学习·语言模型·架构·llm·transformer·边缘计算