多模态简单了解

多模态

1.文本编码

简介: 即通过embedding将字符向量化,进入模型即可。

2. ViT图像编码器


释义:

  1. 图片是由一个个像素点构成的,每个像素点是1-255的数,所以图片其实是天然的矩阵。
  2. 将图片切割成单独的小的部分,延展开,就和文本一样是一些序列,通过Patches,embedding成向量,并且加上位置信息position。
  3. 输入到transformer结构的编码器中,encoder。

2.1图像矩阵self-attention计算:

示例图如下:

3.Transformer多模态

简介: 即在图文的两种模态模型中,使用transformer的做法。

3.1CLIP 图文交互


释义:

  1. 即将图片和文本分布输入各自得编码器得到向量。
  2. 将图片和文本的向量进行相关性计算,这样就可以得到一个图片和文本匹配的模型。

作用: 文搜图的功能,以及得到两个较好的文本、图像编码器。

3.2 对比学习训练


释义:

  1. 通过图像和文本编码器后,得到各个样本的数据
  2. 进行图像和文本的关系计算,这里每一个图片都只有一个正样本,其他的都是负样本,可以得到一个区分识别图片内容的模型。

3.3 flamingo 图文交互


释义:

  1. 通过self-attention计算文本和图片中的关系时,将文本输入作为Q;图像输入作为K、V计算

示意图:

3.4 LLava 图文交互


释义: 即将文本和图像内容拼接在一起送入到self-attention中,即计算图片与图片、文本与文本、还包括图片与文本之间的关系。

相关推荐
电科_银尘5 小时前
【大模型算法与工程 15】手写Self-Attention:Q、K、V与缩放点积
算法
郝学胜-神的一滴8 小时前
Effective STL 条款03:容器中的对象复制要廉价且正确
开发语言·数据结构·c++·算法·rpc·stl
秋天的怀念_David8 小时前
算法一千零一夜 · 第三十三夜 · 跳表
java·程序人生·算法
塑料铲子11 小时前
你的 Skill 越多越蠢?Token 上下文爆炸的求生指南
机器学习·agent
Pniubi12 小时前
力扣21合并两个有序链表
算法·leetcode·职场和发展
AIgorithmGEEK12 小时前
std::unordered_map 与 std::unordered_set:接口、算法技巧与权衡 (速查)
c++·算法·哈希表·负载因子·桶·unordered_map·unordered_set
TsingtaoAI13 小时前
VeyForge:构建具身智能的AI 3D资产与Sim-to-Real数据引擎
人工智能·机器学习
上海潭龙东海科技有限公司13 小时前
智慧堆场动态模型三维实时孪生重构智能管控
大数据·网络·数据库·算法·重构
高洁0113 小时前
世界模型的因果内核:从预测表象到理解机制
人工智能·python·深度学习·transformer·迁移学习
阿庆_AI研发工程师15 小时前
Stanford CS336 Lecture 10:大语言模型推理与性能优化
算法