VLM学习笔记

目录

基础VLM模型CLIP

CLIP (Contrastive Language-Image Pre-training)

clip的再训练

CLIP-Chinese

[轻量化VLM探索:MobileVLM V2](#轻量化VLM探索:MobileVLM V2)

怎么预训练VLMs?

[TurboMind LLM推理引擎](#TurboMind LLM推理引擎)


基础VLM模型CLIP

CLIP (Contrastive Language-Image Pre-training)

基本思想:CLIP的基本算法原理是文本和图像在特征域进行对齐。

主流VLM原理深入刨析(CLIP,BLIP,BLIP2,Flamingo,LLaVA,MiniCPT,InstructBLIP,mPLUG-owl)-CSDN博客

模型结构:为了对image和text建立联系,首先分别对image和text进行特征提取,image特征提取的backbone可以是resnet系列模型也可以是VIT系列模型;text特征提取目前一般采用bert模型。特征提取之后,由于做了normalize,直接相乘来计算余弦距离,同一pair对的结果趋近于1,不同pair对的结果趋近于0,因为就可以采用对比损失loss(info-nce-loss)【这里要比较大的batch size才能有效果,类似于维护一个大的特征相似度矩阵】

原文链接:https://blog.csdn.net/weixin_54338498/article/details/135258723

clip的再训练

CLIP模型的使用和训练-利用CLIP实现zero-shot的分类任务_clip训练-CSDN博客

CLIP-Chinese

https://github.com/yangjianxin1/CLIP-Chinese

轻量化VLM探索:MobileVLM V2

https://zhuanlan.zhihu.com/p/681878699

部署参数:

'default"={Conversation

"llama 2'={Conversation

'plain'= {Conversation}

'llava_llama_2'

'v1'=

怎么预训练VLMs?

目前主流的以CLIP为典型代表的Vision-Language Model(VLM)预训练方法可以大致分为3个关键模块:

  • 文本特征提取模块,通常采用Transformer结构及其一系列变体作为基础结构。
  • 图像特征提取模块,通常采用CNN(以ResNet结构为典型代表)或者Transformer(如ViT、MAE等结构)来提取图像特征。
  • 特征融合模块

https://zhuanlan.zhihu.com/p/623877502

TurboMind LLM推理引擎

参考博文:

学习笔记 | LMDeploy 量化部署 LLM-VLM 实践_vlm 大模型 封装-CSDN博客

​ TurboMind是LMDeploy团队开发的一款关于LLM推理的高效推理引擎,它的主要功能包括:LLaMa 结构模型的支持,continuous batch 推理模式和可扩展的 KV 缓存管理器。

​ TurboMind推理引擎仅支持推理TurboMind格式的模型。因此,TurboMind在推理HF格式的模型时,会首先自动将HF格式模型转换为TurboMind格式的模型。该过程在新版本的LMDeploy中是自动进行的,无需用户操作。

​ 几个容易迷惑的点:

TurboMind与LMDeploy的关系:LMDeploy是涵盖了LLM 任务全套轻量化、部署和服务解决方案的集成功能包,TurboMind是LMDeploy的一个推理引擎,是一个子模块。LMDeploy也可以使用PyTorch作为推理引擎。

TurboMind与TurboMind模型的关系:TurboMind是推理引擎的名字,TurboMind模型是一种模型存储格式,TurboMind引擎只能推理TurboMind格式的模型。

相关推荐
蜀中廖化10 分钟前
关于架空输电线识别树障or测距相关论文阅读
论文阅读·深度学习·输电线与杆塔·输电线与树木测距
杰克船长有烦恼27 分钟前
基于深度学习计算s21参数,在射频中的应用
人工智能·深度学习·射频工程
CoovallyAIHub1 小时前
计算机视觉遇见手绘图表,如何教会机器理解流程图?
深度学习·算法·计算机视觉
CoovallyAIHub1 小时前
首个自监督微调Stable Diffusion框架!更清晰、更泛化的单目深度估计(附代码地址)
深度学习·算法·计算机视觉
技术闲聊DD1 小时前
深度学习(14)-Pytorch torch 手册
人工智能·pytorch·深度学习
CoovallyAIHub1 小时前
谷歌量子计算迎来历史性突破!13000倍性能提升,首款可验证算法登上《Nature》封面
深度学习·算法·计算机视觉
赋创小助手1 小时前
实测对比 32GB RTX 5090 与 48GB RTX 4090,多场景高并发测试,全面解析 AI 服务器整机性能与显存差异。
运维·服务器·人工智能·科技·深度学习·神经网络·自然语言处理
Geoking.2 小时前
深度学习基础:Tensor(张量)的创建方法详解
人工智能·深度学习
ZHANG8023ZHEN2 小时前
深度学习的一些基本概念
人工智能·深度学习