通用多模态检索——大模型微调

1、7B的模型,参数量就占到了16G,而且你要检索,要把所有的候选项candidate全部变成向量嵌入,然后计算相似度,3090的24G显存很容易爆,而且数据量一旦大了一点,达到几万,基本就很难跑通了。如果输入还有图像的话,显存更加容易溢出,可以在加载模型的时候,限制图片输入的像素,例如max_pixel参数,加载模型的时候也可以使用int4量化。

2、例如原来是在64G的显存上跑,有些时候,即使你把batch_size改成1,num_workers改成0,也依然在24G的显存上跑不了。

3、一般原来的论文用到H200,A100,基本上完整全部复现论文也需要这个配置,24G可能只能复现部分论文。

相关推荐
其实防守也摸鱼8 分钟前
用 Claude Code 重构遗留系统:从评估到落地的完整指南
前端·网络·人工智能·chrome·安全·重构
泯泷20 分钟前
当"孤独的开发者"成为常态,AI正在悄悄杀死那个我们熟悉的互联网
人工智能·chatgpt·llm
黑客笔记20 分钟前
安全态势感知中的资产失陷排名思考
人工智能·算法·网络安全
用户27070596625930 分钟前
Copilot平替方案怎么选:主流工具横向对比
人工智能
好悬给我拽开线40 分钟前
EasyHeC++ 用预训练图像模型实现全自动手眼标定
人工智能
Bacon1 小时前
把 Codex 装进 Mac 刘海:Codex Notch 安装与使用指南
人工智能
吕炘嵘1 小时前
DPO loss 降了 75%,模型却没变好:我给手搓 LLM 补了一套评估系统
人工智能
程序员cxuan1 小时前
推荐 10 个 WorkBuddy 中的邪修用法
人工智能·后端·程序员
花椒技术1 小时前
数字人为什么突然爆发?从 H3 Max Lip Sync 看生成式数字人的临界点
人工智能·aigc
初学AI的小高1 小时前
VFM:让 Agent 同时接受上千条自然语言规则的运行时检查
人工智能