[RIS]GRES: Generalized Referring Expression Segmentation

1. BaseInfo

Title GRES: Generalized Referring Expression Segmentation
Adress https://arxiv.org/pdf/2306.00968
Journal/Time CVPR2023
Author 南洋理工
Code https://github.com/henghuiding/ReLA
Read 20240829
Table VisonLanguage

2. Creative Q&A

  1. 考虑结果多目标和无目标,基于 Mask2Former,能够指向任意数量的目标类别
  2. 数据集 gRefCOCO 构建,包含单目标、多目标和无目标。
  3. ReLA

3. Concrete

主要是多目标和无目标的改进。

prediction : 图像、文本、GT Mask、预测结果、有无目标。

python 复制代码
        out = {
            'pred_logits': predictions_class[-1], # [B, Q, num_classes + 1]
            'pred_masks': tgt_mask, # [ B, num_classes + 1, H/4, W/4]
            'all_masks': outputs_mask,
            'nt_label': nt_label # [B, 2]
        }

3.1. Model

将视觉和语言特征输入 ReLA 模块。

3.1.1. Input

图片+文本

3.1.2. Backbone

Swin-Transformer + BERT

3.1.3. Neck

3.1.4. Decoder

在 RelA 后就是很简单的 MLP

3.1.5. Loss

交叉熵损失

3.2. Training

3.2.1 Dataset

RefCOCO

RefCOCO+

G-Ref

gRefCOCO

3.3. Eval

cumulative IoU (cIoU) and Precision@X (Pr@X), we further introduce No-target accuracy (N-acc.), Target accuracy (T-acc.), and generalized IoU (gIoU) for GRES.

  1. 在 gRefCOCO 上的

3.4. Ablation

  1. 数据集的必要性
  2. RIA 和 RLA 的必要性
  3. P 的数量 10 最佳

4. Reference

RES 系列 GRES: Generalized Referring Expression Segmentation 论文阅读笔记

5. Additional

有点吃显存。

简单读一下,后面 ReLA 还是没怎么看懂。后面再结合代码读的时候再详细写吧...

相关推荐
Topstip2 分钟前
Gemini 对话机器人加入开源盲水印技术来检测 AI 生成的内容
人工智能·ai·机器人
SEEONTIME5 分钟前
python-24-一篇文章彻底掌握Python HTTP库Requests
开发语言·python·http·http库requests
Bearnaise5 分钟前
PointMamba: A Simple State Space Model for Point Cloud Analysis——点云论文阅读(10)
论文阅读·笔记·python·深度学习·机器学习·计算机视觉·3d
小嗷犬18 分钟前
【论文笔记】VCoder: Versatile Vision Encoders for Multimodal Large Language Models
论文阅读·人工智能·语言模型·大模型·多模态
Struart_R23 分钟前
LVSM: A LARGE VIEW SYNTHESIS MODEL WITH MINIMAL 3D INDUCTIVE BIAS 论文解读
人工智能·3d·transformer·三维重建
lucy1530275107924 分钟前
【青牛科技】GC5931:工业风扇驱动芯片的卓越替代者
人工智能·科技·单片机·嵌入式硬件·算法·机器学习
哇咔咔哇咔36 分钟前
【科普】conda、virtualenv, venv分别是什么?它们之间有什么区别?
python·conda·virtualenv
幻风_huanfeng1 小时前
线性代数中的核心数学知识
人工智能·机器学习
CSXB991 小时前
三十四、Python基础语法(文件操作-上)
开发语言·python·功能测试·测试工具
volcanical1 小时前
LangGPT结构化提示词编写实践
人工智能