Meta第三代“分割一切”模型——SAM 3本地部署教程:首支持文本提示分割,400万概念、30毫秒响应,检测分割追踪一网打尽

一、模型介绍

SAM 3 是一个统一的基础模型,用于图像和视频中的可提示分割。它可以使用文本或视觉提示(如点、框和掩码)来检测、分割和跟踪对象。与它的前身 SAM 2 相比,SAM 3 引入了根据简短的文本短语或示例详尽地分割所有开放词汇概念实例的能力。与先前的工作不同,SAM 3 可以处理更大范围的开放词汇提示。在新 SA-CO 基准测试 上,它达到了人类表现的 75-80%,该基准包含 27 万个独特概念,比现有基准多出 50 多倍。

这一突破得益于一个创新的数据引擎,该引擎已自动注释超过 400 万个独特概念,创建了迄今为止最大的高质量开放词汇细分数据集。此外,SAM 3 引入了一种新的模型架构,具有一种存在令牌,能够更好地区分密切相关的文本提示(例如,"白衣玩家"与"红衣玩家"),以及一种解耦的检测器-追踪器设计,以最大限度减少任务干扰并高效扩展数据。

更多详情请见:sam3 · 模型库

二、部署流程

基础环境推荐:

环境名称 版本信息
Ubuntu 22.04.4 LTS
Cuda V12.4
Python 3.12
NVIDIA Corporation RTX 4090

注:该模型对于显存占用要求较低。

1.更新基础软件包

查看系统版本信息

bash 复制代码
#查看系统的版本信息,包括 ID(如 ubuntu、centos 等)、版本号、名称、版本号 ID 等
cat /etc/os-release

更新软件包列表

csharp 复制代码
#更新软件列表
apt-get update

2.创建虚拟环境

创建虚拟环境

ini 复制代码
#创建名为DeepSeek-OCR的虚拟环境,python版本:3.12
conda create -n sam3 python=3.12 

激活虚拟环境

复制代码
conda activate sam3

3.克隆仓库、安装依赖

特别的,如需要该模型可视化访问页面,这里推荐 huggingface 上官方给出的 gradio 页面模板

bash 复制代码
git clone https://huggingface.co/spaces/hasanbasbunar/SAM3

同样的,使用该模板,也需要进入SAM3 目录下,安装所需依赖项

4.模型下载

这里推荐转到魔塔社区官网下载模型文件:sam3 · 模型库

使用命令行下载完整模型库

bash 复制代码
#在下载前,请先通过如下命令安装
pip install modelscope

转到根目录下,创建 model 目录用于存放模型权重文件,在使用命令行下载 modelscope download --model 'facebook/sam3 ' --local_dir './'

bash 复制代码
cd /
mkdir model 
cd model
modelscope download --model 'facebook/sam3' --local_dir './'

5.修改 web 页面启动脚本

进入 /DeepSeek-OCR/DeepSeek-OCR-Demo 目录,修改其中的 web 启动代码 app.py:

bash 复制代码
vim /SAM3/app.py

将模型的加载路径改为本地路径 /model/ , 以及 lunch 加载函数中设置 share=False,server_name='0.0.0.0',server_port=8080


6.运行脚本

bash 复制代码
#执行修改好的 app.py 文件
python app.py

7.web 页面展示

将网址:http://localhost:8080/粘贴到浏览器中,便可与模型进行对话

相关推荐
羲云网络2 分钟前
GPT Image 2.6 精准编辑前,先排查参考图的访问权限与输入交接
图像处理·人工智能·aigc
snakeshe101010 分钟前
ChatGLM行业垂直领域微调实战:从需求分析到数据集加载完整流程
人工智能
智联视频超融合平台4 小时前
视频 AI 的误报之战,正在从调参数卷到改架构
人工智能·大模型·边缘计算·视频监控·安防
水如烟5 小时前
孤能子视角:智能的边界不在算法强弱,在可形式化性——从概率法到因果推理,选择池的边界一直在那里
人工智能
万里侯6 小时前
日志聚类之后别把 noise 扔掉:降噪应该改变视图,不抹掉证据
人工智能·微服务·ai·容器·k8s
澹锦汐6 小时前
纯前端秋日银杏与枫叶落叶色板智能聚类器:基于 K-Means 色彩量化与直方图自动配方提取
前端·人工智能·ai·语言模型·vue·react·k-means
71777714 小时前
国内 AI 研发效能工具怎么选:2026 年基于公开信息的选型框架与 Gitee 实践
人工智能·gitee
Csvn14 小时前
换供应商要改一遍代码?把模型接入收进一层网关(C04)
人工智能·aigc·agent
孟健14 小时前
开源AutoClip切直播:1小时48分出19段,整月API只花0.08元
人工智能·开源·aigc