论文阅读——SimpleClick

SimpleClick: Interactive Image Segmentation with Simple Vision Transformers

模型直接在VIT上增加交互是分割

用VIT MAE方法训练的预训练权重

用交互式分割方法微调,微调流程:

1、在当前分割自动模拟点击,没有人为提供的点击

受到RITM启发,使用随机和迭代的点击模拟策略结合。

随机点击生成的点不考虑顺序,

迭代点击模拟策略生成的点是有顺序的,后一次点击应该在前次点击生成的掩码错误的区域,更像人类点击。

2、结合前次交互得到的掩码作为额外输入,提高分割质量,以及根据现有的分割掩码refine.

损失函数:normalized focal loss

实验结果:

相关推荐
Bigfish_coding几秒前
前端转agent-【python】-13 Ollama Python流式输出教程:stream=True 与 async 实践
人工智能
字节跳动数据库2 小时前
文章分享——相似函数处理方法
人工智能·后端·程序员
Bigfish_coding2 小时前
前端转agent-【python】-12 LangChain 入门实战:RAG + LCEL 链式调用
人工智能
程序员cxuan3 小时前
读懂 Claude Code 架构分析系列,第一篇,开始!
人工智能·后端·架构
饼干哥哥3 小时前
扣子3.0测评:我让 Codex 和 Claude Code 住同一个桌面,结果它们打架了!
人工智能·开源·代码规范
Token炼金师4 小时前
IP-Adapter:解耦交叉注意力如何让扩散模型看见图像
人工智能
Bigfish_coding4 小时前
前端转agent-【python】-11 LangGraph 高级特性:时间旅行与人工介入
人工智能
Token炼金师4 小时前
从safetensors到像素:ComfyUI Checkpoint加载机制的底层拆解
人工智能
AI闲人4 小时前
AI 写代码越来越快,为什么 Code Review 反而更慢了?
人工智能·code review·ai 编程
武子康4 小时前
调查研究-202 SGLang 深度解析:为什么大模型推理框架不只是“把模型跑起来“
人工智能·openai·agent