论文阅读——SimpleClick

SimpleClick: Interactive Image Segmentation with Simple Vision Transformers

模型直接在VIT上增加交互是分割

用VIT MAE方法训练的预训练权重

用交互式分割方法微调,微调流程:

1、在当前分割自动模拟点击,没有人为提供的点击

受到RITM启发,使用随机和迭代的点击模拟策略结合。

随机点击生成的点不考虑顺序,

迭代点击模拟策略生成的点是有顺序的,后一次点击应该在前次点击生成的掩码错误的区域,更像人类点击。

2、结合前次交互得到的掩码作为额外输入,提高分割质量,以及根据现有的分割掩码refine.

损失函数:normalized focal loss

实验结果:

相关推荐
AI科技星2 分钟前
宇宙的几何诗篇:当空间本身成为运动的主角
数据结构·人工智能·经验分享·算法·计算机视觉
胡桃不是夹子13 分钟前
torch和torchvision对应版本匹配官网下载
人工智能·python·深度学习
集和诚JHCTECH17 分钟前
专为严苛环境而生:高防护等级工业防水平板WPPC-H1520T(P)
人工智能·嵌入式硬件·平板
mit6.82433 分钟前
[手机AI开发sdk] 模型冻结&解冻.pb | `aidlite`加速AI模型
人工智能·智能手机
落798.38 分钟前
基于 GitCode 云端环境的 CANN ops-math 算子库深度测评:Ascend NPU 上的数学引擎解析
人工智能·gitcode
九河云1 小时前
华为云ECS与Flexus云服务器X实例:差异解析与选型指南
大数据·运维·服务器·网络·人工智能·华为云
AI优秘企业大脑1 小时前
如何提升自动化业务流程的效率?
大数据·人工智能
这张生成的图像能检测吗1 小时前
(论文速读)视觉语言模型的无遗忘学习
人工智能·深度学习·计算机视觉·clip·持续学习·灾难性遗忘
杰克逊的日记1 小时前
LLM(大语言模型)
人工智能·语言模型·自然语言处理
Q_Q19632884751 小时前
python+django/flask基于深度学习的个性化携程美食数据推荐系统
spring boot·python·深度学习·django·flask·node.js·php