论文阅读——SimpleClick

SimpleClick: Interactive Image Segmentation with Simple Vision Transformers

模型直接在VIT上增加交互是分割

用VIT MAE方法训练的预训练权重

用交互式分割方法微调,微调流程:

1、在当前分割自动模拟点击,没有人为提供的点击

受到RITM启发,使用随机和迭代的点击模拟策略结合。

随机点击生成的点不考虑顺序,

迭代点击模拟策略生成的点是有顺序的,后一次点击应该在前次点击生成的掩码错误的区域,更像人类点击。

2、结合前次交互得到的掩码作为额外输入,提高分割质量,以及根据现有的分割掩码refine.

损失函数:normalized focal loss

实验结果:

相关推荐
&永恒的星河&7 分钟前
基于TarNet、CFRNet与DragonNet的深度因果推断模型全解析
深度学习·因果推断·cfrnet·tarnet·dragonnet
盛寒21 分钟前
N元语言模型 —— 一文讲懂!!!
人工智能·语言模型·自然语言处理
weixin_1772972206928 分钟前
家政小程序开发——AI+IoT技术融合,打造“智慧家政”新物种
人工智能·物联网
Jay Kay41 分钟前
ReLU 新生:从死亡困境到强势回归
人工智能·数据挖掘·回归
Blossom.1181 小时前
使用Python和Flask构建简单的机器学习API
人工智能·python·深度学习·目标检测·机器学习·数据挖掘·flask
无声旅者1 小时前
AI 模型分类全解:特性与选择指南
人工智能·ai·ai大模型
Grassto2 小时前
Cursor Rules 使用
人工智能
MYH5162 小时前
深度学习在非线性场景中的核心应用领域及向量/张量数据处理案例,结合工业、金融等领域的实际落地场景分析
人工智能·深度学习
Lilith的AI学习日记2 小时前
什么是预训练?深入解读大模型AI的“高考集训”
开发语言·人工智能·深度学习·神经网络·机器学习·ai编程
聚客AI2 小时前
PyTorch玩转CNN:卷积操作可视化+五大经典网络复现+分类项目
人工智能·pytorch·神经网络