文章精读篇——用于遥感小样本语义分割的可学习Prompt

题目:Learnable Prompt for Few-Shot Semantic Segmentation in Remote Sensing Domain

会议:CVPR 2024 Workshop

论文:10.48550/arXiv.2404.10307

相关竞赛:https://codalab.lisn.upsaclay.fr/competitions/17568

年份:2024


任务背景

  • 小样本语义分割(Few-shot Segmentation):目标是在仅有少量标注样本的情况下,对图像中的新类别(novel classes)进行分割。在广义设置中,任务不仅需要分割新类别,还需要保持对基础类别(base classes)的分割性能。

  • 主要挑战

    • 灾难性遗忘(Catastrophic Forgetting):在引入新类别时,模型可能会忘记之前学习到的基础类别知识,导致基础类别的性能下降。

    • 遥感图像的特殊性:遥感图像中的目标通常具有多种尺寸,且图像分辨率较高,直接处理整张图像可能会导致计算资源不足或边界不连续的问题。

小知识:

  1. 边界不连续是指在图像分割任务中,当图像被分割成多个小块(patches)进行独立预测时,块与块之间的边界区域可能会出现不一致或不连续的分割结果。

解决方法 :1. 分块缝合技术(Patch-and-Stitch Technique) :将分块预测的结果通过图像修复(inpainting)或后处理技术进行平滑拼接,确保边界区域的分割结果一致。2. 重叠分块(Overlapping Patches):在分块时让相邻小块有一定的重叠区域,从而为边界区域提供更多的上下文信息。

  1. 支持集是新类别的少量标注样本(例如每个类别有 5 张图像及其对应的标注)。

相关工作

  1. 语义分割

  2. few-shot语义分割:现有的 FSS 方法主要关注新类别的分割,而忽略了基础类别的分割。在实际应用中,目标图像可能同时包含基础类别和新类别,因此需要模型能够同时分割这两类。作者的工作正是在这一背景下展开的,通过引入可学习提示(Learnable Prompts)分块缝合技术(Patch-and-Stitch Technique),提出了一种能够同时处理基础类别和新类别的 GFSS 方法。

相关推荐
茶杯6753 分钟前
GraphRAG产品赋能企业智能升级:创邻科技知寰Hybrid RAG的四大核心应用场景深度解析
人工智能·科技·graphrag产品
少林and叔叔5 分钟前
基于yolov5.7.0的人工智能算法的下载、开发环境搭建(pycharm)与运行测试
人工智能·pytorch·python·yolo·目标检测·pycharm
正经教主7 分钟前
【Trae+AI】和Trae学习搭建App_02:后端API开发
学习·app·1024程序员节
源代码•宸14 分钟前
Qt6 学习——一个Qt桌面应用程序
开发语言·c++·经验分享·qt·学习·软件构建·windeployqt
kuan_li_lyg23 分钟前
笛卡尔坐标机器人控制的虚拟前向动力学模型
人工智能·stm32·机器人·机械臂·动力学·运动学·导纳控制
合作小小程序员小小店27 分钟前
旧版本附近停车场推荐系统demo,基于python+flask+协同推荐(基于用户信息推荐),开发语言python,数据库mysql,
人工智能·python·flask·sklearn·推荐算法
却道天凉_好个秋34 分钟前
OpenCV(十四):绘制直线
人工智能·opencv·计算机视觉
动能小子ohhh37 分钟前
Langchain从零开始到应用落地案例[AI智能助手]【3】---使用Paddle-OCR识别优化可识别图片进行解析回答
人工智能·python·pycharm·langchain·ocr·paddle·1024程序员节
IT_陈寒41 分钟前
Vue 3.4性能优化实战:5个鲜为人知的Composition API技巧让打包体积减少40%
前端·人工智能·后端
数据与人工智能律师1 小时前
数据淘金时代的法治罗盘:合法收集、使用与变现数据的边界与智慧
大数据·网络·人工智能·云计算·区块链