多模态简单了解

多模态

1.文本编码

简介: 即通过embedding将字符向量化,进入模型即可。

2. ViT图像编码器


释义:

  1. 图片是由一个个像素点构成的,每个像素点是1-255的数,所以图片其实是天然的矩阵。
  2. 将图片切割成单独的小的部分,延展开,就和文本一样是一些序列,通过Patches,embedding成向量,并且加上位置信息position。
  3. 输入到transformer结构的编码器中,encoder。

2.1图像矩阵self-attention计算:

示例图如下:

3.Transformer多模态

简介: 即在图文的两种模态模型中,使用transformer的做法。

3.1CLIP 图文交互


释义:

  1. 即将图片和文本分布输入各自得编码器得到向量。
  2. 将图片和文本的向量进行相关性计算,这样就可以得到一个图片和文本匹配的模型。

作用: 文搜图的功能,以及得到两个较好的文本、图像编码器。

3.2 对比学习训练


释义:

  1. 通过图像和文本编码器后,得到各个样本的数据
  2. 进行图像和文本的关系计算,这里每一个图片都只有一个正样本,其他的都是负样本,可以得到一个区分识别图片内容的模型。

3.3 flamingo 图文交互


释义:

  1. 通过self-attention计算文本和图片中的关系时,将文本输入作为Q;图像输入作为K、V计算

示意图:

3.4 LLava 图文交互


释义: 即将文本和图像内容拼接在一起送入到self-attention中,即计算图片与图片、文本与文本、还包括图片与文本之间的关系。

相关推荐
地平线开发者44 分钟前
让 AI Agent 和 征程6 台架高效、稳定、安全地协作
算法·安全·自动驾驶
kyle~2 小时前
SHA-256 哈希去重
算法·哈希算法
哈尔滨张谦蛋4 小时前
兰州大学 · 甘肃省可穿戴装备重点实验室 · 2027年博士招生
人工智能·深度学习
风落青芜4 小时前
链式二叉树的实现与基本操作
c语言·开发语言·数据结构·算法
青少儿编程课堂6 小时前
蓝桥杯·全国青少年信息素养大赛·电子学会Python/C++考级:中国剩余定理解析
c++·python·算法·bfs·信息学竞赛
chh56316 小时前
从 BERT 到大模型:让模型从“会接龙”到“会回答
人工智能·深度学习·bert
罗西的思考18 小时前
【轻量化复刻大模型 / KIMI K3】Muon 优化器及 训练系统
人工智能·算法·机器学习
ashiho20 小时前
【LeetCode hot 100】3. 无重复字符的最长子串 (三种解法)
java·数据结构·后端·算法·leetcode·滑动窗口
数据工匠老o20 小时前
数据库没死,业务卡住了:行锁等待、元数据锁、长事务的排查路径
数据库·算法·架构
黑客笔记20 小时前
安全态势感知中的资产失陷排名思考
人工智能·算法·网络安全