【计算机视觉--解耦视频分割跟踪任何物体】

UIUC&Adobe开源|无需监督,使用解耦视频分割跟踪任何物体!视频分割的训练数据往往昂贵且需要大量的标注工作。这限制了将端到端算法扩展到新的视频分割任务,特别是在大词汇量的情况下。为了在不为每个个别任务训练视频数据的情况下实现"跟踪任何物体",开发了一种解耦视频分割方法(DEVA),包括任务特定的图像级分割和类/任务无关的双向时间传播。由于这种设计,只需要为目标任务训练一个图像级别的模型(这更便宜),以及一个通用的时间传播模型,只需训练一次即可适用于多个任务。为了有效地结合这两个模块,使用双向传播来对来自不同帧的分割假设进行(半)在线融合,以生成一致的分割结果。展示了这种解耦的方法在多个数据稀缺任务中表现出色,包括大词汇量视频全景分割、开放世界视频分割、指代视频分割和无监督视频对象分割。

项目主页:https://hkchengrex.com/Tracking-Anything-with-DEVA/

论文地址:https://arxiv.org/abs/2309.03903

代码地址:https://github.com/hkchengrex/Tracking-Anything-with-DEVA

相关推荐
vocal4 分钟前
谷歌第七版Prompt Engineering—第一部分
人工智能
MonkeyKing_sunyuhua5 分钟前
5.6 Microsoft Semantic Kernel:专注于将LLM集成到现有应用中的框架
人工智能·microsoft·agent
arbboter13 分钟前
【AI插件开发】Notepad++ AI插件开发1.0发布和使用说明
人工智能·大模型·notepad++·ai助手·ai插件·aicoder·notepad++插件开发
IT_Octopus25 分钟前
AI工程pytorch小白TorchServe部署模型服务
人工智能·pytorch·python
果冻人工智能30 分钟前
AI军备竞赛:我们是不是正在造一个无法控制的神?
人工智能
暴龙胡乱写博客35 分钟前
OpenCV---图像预处理(四)
人工智能·opencv·计算机视觉
程序员辣条43 分钟前
深度测评 RAG 应用评估框架:指标最全面的 RAGas
人工智能·程序员
curdcv_po44 分钟前
字节跳动Trae:一款革命性的免费AI编程工具完全评测
人工智能·trae
程序员辣条1 小时前
为什么需要提示词工程?什么是提示词工程(prompt engineering)?为什么需要提示词工程?收藏我这一篇就够了!
人工智能·程序员·产品经理
孔令飞1 小时前
Go:终于有了处理未定义字段的实用方案
人工智能·云原生·go