SAM 3 是一个统一的基础模型，用于图像和视频中的可提示分割。它可以使用文本或视觉提示（如点、框和掩码）来检测、分割和跟踪对象。与它的前身 SAM 2相比，SAM 3引入了根据简短的文本短语或示例详尽地分割所有开放词汇概念实例的能力。
SAM 3的主要功能
-
多模态提示支持：支持通过文本、示例和视觉提示（如点击、框选）检测和分割图像及视频中的对象，适应多种用户需求。
-
图像和视频分割：能在图像中检测和分割所有匹配对象，支持在视频中跟踪对象，且能实时交互性修正分割结果。
-
零样本学习：能通过开放词汇的文本提示处理未见过的概念，无需额外训练即可分割新对象类别。
-
实时交互性：支持用户通过添加额外的提示（如点击或框选）修正模型的错误，进一步优化分割结果，提升用户体验。
-
跨领域应用：广泛应用在创意媒体工具（如 Instagram Edits）、家居装饰预览（如 Facebook Marketplace）和科学领域（如野生动物监测）。
SAM 3的应用场景
-
创意媒体工具：创作者能快速为视频中的人物或物体应用特效，提升创作效率。
-
家居装饰预览：在 Facebook Marketplace 中，SAM 3 支持"房间预览"功能，用户能预览家居装饰品在自己空间中的效果，辅助购买决策。
-
科学应用：SAM 3 用在野生动物监测和海洋探索，帮助研究人员更好地理解和保护自然环境，例如通过视频分析野生动物行为。
-
3D 重建：SAM 3D 能从单张图像重建 3D 物体和人体，为物理世界场景中的 3D 重建提供新标准，助力虚拟现实和增强现实应用。
-
视频创作：SAM 3 提供 AI 视觉创作工具，支持对现有 AI 生成视频进行混剪，提升创作灵活性。
【facebook/sam3】模型已经在趋动云『社区项目』上线，无需自己创建环境、下载模型，一键即可快速部署，快来体验【facebook/sam3】带来的精彩体验吧！
项目入口
https://open.virtaicloud.com/web/project/detail/648797251401408512
视频教程
https://www.bilibili.com/video/BV1jcm4BWEzS/?vd_source=85d5574e8763d2ef3afdafc50f2b9d43
启动开发环境
进入【facebook/sam3】项目主页中，点击运行一下，将项目一键克隆至工作空间，『社区项目』推荐适用的算力规格，可以直接立即运行，省去个人下载数据、模型和计算算力的大量准备时间。
配置完成，点击进入开发环境，根据主页项目介绍进行部署。
使用方法
在gemini/code中找到使用说明，选中使用说明单元格，点击运行。
等待生成local URL，右侧添加端口7860。
项目使用方法
示例展示
➫温馨提示： 完成项目后，记得及时关闭开发环境，以免继续产生费用！