论文阅读——SimpleClick

SimpleClick: Interactive Image Segmentation with Simple Vision Transformers

模型直接在VIT上增加交互是分割

用VIT MAE方法训练的预训练权重

用交互式分割方法微调,微调流程:

1、在当前分割自动模拟点击,没有人为提供的点击

受到RITM启发,使用随机和迭代的点击模拟策略结合。

随机点击生成的点不考虑顺序,

迭代点击模拟策略生成的点是有顺序的,后一次点击应该在前次点击生成的掩码错误的区域,更像人类点击。

2、结合前次交互得到的掩码作为额外输入,提高分割质量,以及根据现有的分割掩码refine.

损失函数:normalized focal loss

实验结果:

相关推荐
CIO_Alliance3 分钟前
AI+iPaaS解决方案深度整合:让跨系统业务流程自动化一步到位
人工智能·ipaas·系统集成·ai+ipaas·企业cio联盟·企业级ai化转型
苏州IT威翰德4 分钟前
算力资产“续命”专家:苏州威翰德科技赋能NVIDIA高端AI芯片芯片级维修
大数据·人工智能
天上路人17 分钟前
A59P双波束语音模块:神经网络降噪在远场拾音中的工程实现分析
人工智能·深度学习·神经网络·ai降噪·ai语音·麦克风·回音消除
冬奇Lab25 分钟前
AI 评测系列(03):LLM-as-Judge——让 LLM 评价 LLM 的正确姿势
人工智能·llm
Miao1213136 分钟前
某海外住宿平台如何在大规模场景下实现指标一致性:Minerva 指标平台实践
大数据·数据库·人工智能
冬奇Lab39 分钟前
每日一个开源项目(第164篇):毕昇(BISHENG)- 面向企业的开源 LLM DevOps 平台
人工智能·开源·agent
声讯电子1 小时前
录音笔AI降噪方案:从录得到到听得清的听觉革命
人工智能·语音识别
小小测试开发1 小时前
Playwright vs Selenium vs Cypress:从浏览器协议到 API 设计的全面对比与实测
人工智能·selenium·测试工具
Ai_easygo2 小时前
AI Agent开发入门——从ReAct到Tool Calling,拆解Agent的底层运行逻辑
前端·人工智能·react.js
IT_陈寒2 小时前
Redis的持久化配置把我坑惨了:你以为数据安全了?
前端·人工智能·后端