CLIP代码相关问题

首先需要将text转为token,用到CLIPTokenizer,接着是从token得到embedding。可以用CLIPTextModelWithProjection或CLIPTextModel。

CLIPTextModelWithProjection和CLIPTextModel的区别:

CLIPTextModel输出的是pooler_output,CLIPTextModelWithProjection的输出是text_embeds
text_embeds是和image_embeds在同一个space下的,所以如果要和image做相似度比较,需要用到CLIPTextModelWithProjection

但假如说只需要一个text的编码信息,那么用两个都可以(用CLIPTextModel会省一点显存)。
CLIPTextModelWithProjection = CLIPTextModel + 一层Linear

参考:

https://github.com/huggingface/transformers/issues/21465#issuecomment-1419080756

CLIPTextTransform = CLIPTokenizer + CLIPTextModel
CLIPTextWithProjectionTransform = CLIPTokenizer + CLIPTextModelWithProjection

相关推荐
MetaLite2 分钟前
AI编程与工程底座-让AI遵守SpringBoot边界
人工智能·spring boot·ai编程
loong_XL4 分钟前
生产级 Agent 开发方法论:速度、质量、价格与工程化
ai·大模型·agent·loop·智能体·vibe
angered8 分钟前
「AI 应用 / AI Agent」行业日报 · 2026-09-05
人工智能·ai编程
CAIE注册人工智能工程师9 分钟前
突发!GPT-6刚刚开放使用、上线API,能体验AGI模型了
人工智能·gpt·agi
进击切图仔17 分钟前
Autodl 平台接受客户端端口数据
人工智能
新知图书18 分钟前
第8章 智能体设计模式5:上下文工程
人工智能·智能体
IT_陈寒21 分钟前
Python的多线程居然是个假把式?搞清GIL让我少熬三天夜
前端·人工智能·后端
Rnan-prince26 分钟前
堆与TopK · 从零到通透 —— 9 节全系列复盘
python·算法
熊野君33 分钟前
第 7 章 AI时代产品经理新增能力
大数据·人工智能·经验分享·职场和发展·产品经理
AcaDesign38 分钟前
省部级协会科学技术奖答辩ppt视频制作_科技进步奖_技术发明奖_自然科学奖PPT模板
人工智能