BLIP-2: 基于冻结图像编码器和大型语言模型的语言-图像预训练引导

BLIP-2: 基于冻结图像编码器和大型语言模型的语言-图像预训练引导

在语言-图像预训练领域,BLIP-2的出现标志着一项重大进展。本篇博客将深入探讨BLIP-2的背景、意义以及它如何改变零-shot语言-图像任务的格局。

项目地址

https://github.com/salesforce/LAVIS/tree/main/projects/blip2

BLIP-2的背景与意义

BLIP-2是BLIP-2论文的官方实现,是一种通用且高效的预训练策略,可以轻松地利用预训练视觉模型和大型语言模型(LLMs)进行语言-图像预训练。BLIP-2在零-shot VQAv2上击败了Flamingo(65.0对56.3),在零-shot字幕生成上建立了新的技术水平(在NoCaps上的121.6 CIDEr分数,相对于之前的最佳113.2)。搭载强大的LLMs(如OPT、FlanT5),BLIP-2还为各种有趣的应用解锁了新的零-shot指导的视觉到语言生成能力!

BLIP-2的安装与演示

安装BLIP-2非常简单,只需执行以下命令:

shell 复制代码
pip install salesforce-lavis

或者根据LAVIS指令从源代码安装。

你还可以尝试我们的笔记本演示,体验指导式的语言到图像生成。

BLIP-2模型库

BLIP-2提供了多种模型架构和类型,包括:

  • blip2_opt:用于预训练和字幕生成
  • blip2_t5:用于预训练和字幕生成
  • blip2:用于特征提取和检索

图像到文本生成示例

让我们看看如何使用BLIP-2模型执行零-shot指导式的图像到文本生成。首先,我们从本地加载样本图像:

python 复制代码
import torch
from PIL import Image

# 设置设备
device = torch.device("cuda") if torch.cuda.is_available() else "cpu"

# 加载样本图像
raw_image = Image.open("../../docs/_static/merlion.png").convert("RGB")
display(raw_image.resize((596, 437)))

然后,我们加载一个预训练的BLIP-2模型及其预处理器(变换):

python 复制代码
import torch
from lavis.models import load_model_and_preprocess

# 加载预训练的BLIP-2模型
model, vis_processors, _ = load_model_and_preprocess(name="blip2_t5", model_type="pretrain_flant5xxl", is_eval=True, device=device)

# 准备图像
image = vis_processors["eval"](raw_image).unsqueeze(0).to(device)

给定图像和文本提示,询问模型生成响应:

python 复制代码
model.generate({"image": image, "prompt": "Question: which city is this? Answer:"})  # 'singapore'

特征提取示例

BLIP-2支持LAVIS的统一特征提取接口。

图像-文本匹配示例

BLIP-2可以使用与BLIP相同的接口计算图像-文本匹配分数。

性能评估与训练

你可以通过下载数据集并运行相应脚本来评估预训练和微调模型。训练过程分为两个阶段:从头开始的预训练和第二阶段的预训练。

引用BLIP-2

你可以在ICML会议上找到关于BLIP-2的更多信息和引用。

Hugging Face集成

BLIP-2已集成到Hugging Face Transformers库中,并且通过bitsandbytes可以利用int8量化,大大减少了加载模型所需的内存量,而不会降低性能。

以上就是BLIP-2的简要介绍和功能概览,希望能为你提供一个清晰的了解。

相关推荐
时空无限14 分钟前
说说transformer 中的掩码矩阵以及为什么能掩盖住词语
人工智能·矩阵·transformer
查里王19 分钟前
AI 3D 生成工具知识库:当前产品格局与测评总结
人工智能·3d
武子康43 分钟前
AI-调查研究-76-具身智能 当机器人走进生活:具身智能对就业与社会结构的深远影响
人工智能·程序人生·ai·职场和发展·机器人·生活·具身智能
小鹿清扫日记1 小时前
从蛮力清扫到 “会看路”:室外清洁机器人的文明进阶
人工智能·ai·机器人·扫地机器人·具身智能·连合直租·有鹿巡扫机器人
fanstuck1 小时前
Prompt提示工程上手指南(六):AI避免“幻觉”(Hallucination)策略下的Prompt
人工智能·语言模型·自然语言处理·nlp·prompt
zhangfeng11332 小时前
win7 R 4.4.0和RStudio1.25的版本兼容性以及系统区域设置有关 导致Plots绘图面板被禁用,但是单独页面显示
开发语言·人工智能·r语言·生物信息
DogDaoDao2 小时前
神经网络稀疏化设计构架方法和原理深度解析
人工智能·pytorch·深度学习·神经网络·大模型·剪枝·网络稀疏
西猫雷婶3 小时前
pytorch基本运算-Python控制流梯度运算
人工智能·pytorch·python·深度学习·神经网络·机器学习
说私域3 小时前
新零售第一阶段传统零售商的困境突破与二次增长路径:基于定制开发开源AI智能名片S2B2C商城小程序的实践探索
人工智能·开源·零售
寒月霜华4 小时前
机器学习-模型验证
人工智能·深度学习·机器学习