多模态算法面经准备

目录

小米-多模态算法工程师

1、对多模态大模型的了解

1.1 CLIP

CLIP利用对比学习(Contrastive Learning)对图像和文本进行联合训练。

1.2 BLIP

原文

BLIP的模型架构包括4个关键部分:图像编码器、文本编码器、图像-文本匹配编码器和图像-文本解码器

  1. Image Encoder :VIT 用于提取图像特征
  2. Text Encoder:BLIP使用了BERT作为文本编码器。
  3. 图像-文本匹配编码器 (Image-grounded Text Encoder): 用于判断当前的文本描述和图像是否匹配,进行图像-文本的匹配任务。
    该模型的输入是图像特征(通过图像编码器提取)和文本特征(通过文本编码器提取),并通过交叉注意力机制(Cross Attention)在每个Transformer层中结合视觉特征。
  4. 图像-文本解码器 (Image-grounded Text Decoder): 用于生成图像的文本描述(caption)。该模块的架构与图像-文本匹配编码器相似,同样采用交叉注意力机制,将图像特征与文本特征结合进行生成任务。

1.3 BLIP-2

BLIP-2 的主要目标是通过cross-modal alignment(跨模态对齐)来连接图像和文本之间的差距。它包含两个主要的学习阶段:
①Representation Learning :通过 Q-Former 提取与文本相关的图像特征。

BLIP-2 使用了 Q-Former 框架,包含两个Transformer结构-Former-Image 和 Q-Former-Text。这两个模型通过交叉注意力机制相互关注,从而有效地从视觉和文本中提取相关的特征。其中 Q-Former-Image:负责处理图像信息,它的输入是一个可学习的 query 向量集,这些查询向量经过 Q-Former-Image 后,输出图像的特征。Q-Former-Text:负责处理文本信息,它的输入是文本特征,并通过与图像特征的交叉注意力机制来提取文本相关的视觉特征。Q-Former 以交叉注意力的方式关注冻结的图像编码器提取的视觉特征,确保图像的视觉信息能够被有效地映射到文本特征空间中。

通过三个损失进行优化 Image-Text Contrastive Learning (ITC) Image-grounded Text Generation (ITG) Image-Text Matching (ITM)

②Generative Learning :将 Q-Former 提取的视觉特征对齐到文本模态,利用下游的大语言模型(LLM)进行进一步的生成任务。

BLIP-2 将 Q-Former 提取的视觉特征对齐到文本模态,并通过一个线性层将其转化为文本特征,送入下游的大语言模型(LLM)。

2、文生图、图生图?

经典的文生图模型如 AttnGAN 和 StackGAN,利用多层次的生成网络逐步生成高分辨率的图像。

变分自编码器(VAE) 和 扩散模型

Transformer模型

3、目前的图像或视频编码器,核心思想方法是什么?

编码器负责将图像或视频输入转换为高维特征表示,这些特征会被后续的模型(如分类器、生成器、检测器等)使用

  • 卷积神经网络(CNN):CNN 是传统图像编码器的核心,早期的模型如 VGG16 和 ResNet 利用卷积层和池化层提取图像的低级和高级特征 . ResNet VGG16
  • Transformer Vision Transformer (ViT)

对于视频编码器

  • 3D卷积层
  • 双流网络
  • TimeSformer

4、

相关推荐
罗西的思考8 小时前
【轻量化复现大模型 / KIMI K3】MTP / EAGLE‑3 模块交互式演示
人工智能·深度学习·算法
kyle~12 小时前
模型预测控制(MPC)
算法·机器人·控制·传感器
牢姐与蒯14 小时前
cpp算法之哈希
c++·算法·哈希算法
开开心心就好14 小时前
两张表格数据对比工具,不用写函数也能查
算法·spring·智能手机·pdf·电脑·intellij-idea·音视频
电科_银尘15 小时前
【大模型算法与工程 02】线性回归与逻辑回归:从损失函数到决策边界
算法·逻辑回归·线性回归
玄昌盛不会编程16 小时前
LeetCode——2243. 计算字符串的数字和
java·算法·leetcode
电科_银尘19 小时前
【大模型算法与工程 01】机器学习的问题定义:监督、无监督、自监督与强化学习
人工智能·算法·机器学习
电科_银尘19 小时前
【大模型算法与工程 05】分类、回归与排序指标:怎样评价一个模型
算法·分类·回归
罗西的思考1 天前
【轻量化复刻大模型 / KIMI K3】Multi-Token Prediction(MTP / EAGLE-3)(2)
人工智能·算法·机器学习
罗西的思考1 天前
【轻量化复刻大模型 / KIMI K3】Multi-Token Prediction(MTP / EAGLE-3)(1)
人工智能·算法·机器学习