Flamingo模型技术学习
- 前言
- Flamingo------支持上下文学习的多模态模型
- [代码查看------masked cross-attention](#代码查看——masked cross-attention)
前言
最近多模态模型特别火，从头开始学习！在前面写的几篇里面学习了MiniCPM-V、ViT、CLIP和BLIP/BLIP-2之后，今天学习一下Flamingo模型，记录学习过程，欢迎批评指正，一起学习~~
Flamingo------支持上下文学习的多模态模型
- Flamingo出自Deepmind在NeurIPS 2022的论文Flamingo: a Visual Language Model for Few-Shot Learning
- 相比于之前的方案，之前的方案通常只支持VQA，Flamingo支持图片和文本内容混合输入，支持提供图-文示例进行In-context learning，支持提供多图多轮对话
模型架构
- Flamingo模型和大部分VLM模型类似，由视觉编码器+图文对齐模块+LLM构成，Flamingo并不更新视觉编码器和LLM的参数
- 预训练过程中，参数会更新的部分是resampler模块和插入到LLM的cross-attention层
模型架构------Resampler
- 这个Resampler是一个Q-Former模块，训练过程中会更新query和transformer层，前面的BLIP-2的核心就是这个模块
- 如果输入很长，例如是一个视频，Q-Former可以实现对信息的压缩【输出大小只和query大小有关】
模型架构------插入到LLM的cross-attention层
- 预训练过程中，参数会更新的部分是resampler模块和插入到LLM的cross-attention层，这些层的权重参数初始化为0，在Flamingo的训练过程中更新
*值得注意的是，这些交叉注意力层前面的权重系数，层数越深，权重系数的绝对值越大
代码查看------masked cross-attention
- 为了让模型能够除了对图片进行描述之外，还能处理图片和文本交替混合输入，Flamingo的做法是在cross-attention层使用掩码
- 在当前文本token下，只看这个文本token前一个图片的视觉token
- media_locations = input_ids == self.media_token_id这里面media_token_id是<image>
- 推理时有图片的时候，use_cache这个为false
python
media_locations = input_ids == self.media_token_id
# if there are media already cached and we're generating and there are no media tokens in the input,
# we'll assume that ALL input tokens should attend to the last previous media that is cached.
# this is especially important for HF generate() compatibility, since generate() calls forward()
# repeatedly one token at a time (with no media tokens).
# without this check, the model would not attend to any images when generating (after the first token)
use_cached_media_locations = (
self._use_cached_vision_x
and self.is_conditioned()
and not media_locations.any()
)
for layer in self._get_decoder_layers():
if not use_cached_media_locations:
layer.condition_media_locations(media_locations)
layer.condition_use_cached_media(use_cached_media_locations)这个掩码机制实现如下，注意输入了图片的时候use_cached=False
python
media = rearrange(media, "b t n d -> b (t n) d")
sim = einsum("... i d, ... j d -> ... i j", q, k)
if exists(media_locations):
media_time = torch.arange(T_img, device=x.device) + 1 # T_img是存图片数量的维度
if not use_cached_media:
# at each boolean of True, increment the time counter (relative to media time)
text_time = media_locations.cumsum(dim=-1) # 前缀和，如果第1张是图，得到[0,1,1,1]
# text time must equal media time if only attending to most immediate image
# otherwise, as long as text time is greater than media time (if attending to all previous images / media)
mask_op = torch.eq if self.only_attend_immediate_media else torch.ge
text_to_media_mask = mask_op(
rearrange(text_time, "b i -> b 1 i 1"),
repeat(media_time, "j -> 1 1 1 (j n)", n=n),
)
sim = sim.masked_fill(~text_to_media_mask, -torch.finfo(sim.dtype).max)
sim = sim - sim.amax(dim=-1, keepdim=True).detach()
attn = sim.softmax(dim=-1)直接看代码比较抽象，看一个例子会比较清晰：假设B = 2，文本长度T_txt = 4，图片数T_img = 3，Resampler的query向量长度n = 2，那么
python
media_locations = torch.tensor([
[False, True, False, False],
[False, False, True, False]])
text_time = torch.tensor([
[0, 1, 1, 1],
[0, 0, 1, 1]])
media_time = torch.tensor([1, 2, 3])广播机制实现的结果如下：
最后实现的效果是：得到的mask，每一行对应一个文本token，每n列代表一张图像
note
到这里，MiniCPM-V的前面需要了解的一些内容应该都看完了，过段时间再仔细看一下MiniCPM-V的源代码，偏好对齐那部分也很强，有效降低了幻觉，学习一下DPO是如何实现的