技术栈
siglip
weixin_44021329
5 天前
clip
·
siglip
CLIP vs SigLIP
一句话总述：SigLIP 是 CLIP 的升级版本，整体双塔结构几乎不变，核心改动是把 InfoNCE softmax 对比损失替换成 pairwise sigmoid 二分类损失，解决 CLIP 强依赖大 batch 训练的痛点，零样本、图文检索指标普遍优于原版 CLIP，现在 LLaVA、PaliGemma 等主流 VLM 普遍采用 SigLIP 作为视觉编码器
qq_41920323
3 个月前
clip
·
siglip
多模态模型：CLIP、SigLip
CLIP 的整体结构其实非常简单：假设一个 batch 输入 N 对图文 [ I - T ]输入的图文分别文本编码（bert）和图像编码（ViT、ResNet）获取各自特征
v_JULY_v
2 年前
多模态大模型
·
gemma
·
vlm
·
paligemma
·
siglip
多模态PaliGemma——Google推出的基于SigLIP和Gemma的视觉语言模型
本文怎么来的呢？其实很简单，源于上一篇文章《π0——用于通用机器人控制的流匹配VLA模型：一套框架控制7种机械臂(改造了PaliGemma和ACT的3B模型)》中的π0用到了PaliGemma
我是有底线的