语义分割

2024 TIP 论文 robust-ref-seg 复现过程本篇是 2024 年 TIP 论文 Toward Robust Referring Image Segmentation 的复现过程。特点是对不存在的目标不会进行错误分割，鲁棒性较高，其结果如图：

【三维重建】Semantic Gaussians:开放词汇的3DGS场景理解开放词汇的三维场景理解是计算机视觉中的一个重大挑战，在具体化代理和增强现实系统中有着广泛的应用。现有的方法采用神经渲染方法作为三维表示，联合优化颜色和语义特征，同时实现渲染和场景理解。本文介绍了一种基于三维高斯溅射的开放词汇场景理解方法语义高斯。我们的关键思想是将知识从二维预训练模型提取为三维高斯模型。与现有的方法不同，我们设计了一种通用的投影方法，将预先训练好的图像编码器映射到一个新的三维高斯的语义component ，这是基于空间关系，不需要额外的训练。我们进一步建立了一个三维语义网络，直接从原

遥感图像语义分割数据集制作（使用ArcGIS Pro）图像分割就是把图像空间按照一定的要求分成一些“有意义”的区域的技术叫图像分割。一幅图像通常是由代表物体的图案与背景组成，简称物体与背景。若想从一幅图像中“提取”物体，可以设法用专门的方法标出属于该物体的点，如把物体上的点标为“1”，而把背景点标为“0”，通过分割以后，可得一幅二值图像。

从懒虫到爬虫

YOLOv8+Deepsort+PyQt+GUI 语义分割+目标检测+姿态识别三者合一（集成于一套系统）综合视觉分析系统这样的系统可以为多种行业提供强大的视觉分析能力，具有广泛的应用前景。

论文阅读笔记: Segment Anything论文地址: https://arxiv.org/abs/2304.02643 代码地址:https://github.com/facebookresearch/segment-anything 项目地址: https://segment-anything.com/

从懒虫到爬虫

基于mask rcnn, Unet, Fcn, Deeplab v3等图像分割模型。支持图像语义分割，图像实例分割，图像全景分割（多模态图像分割平台）图像分割，图像语义分割，基于mask rcnn, Unet, Fcn, Deeplab v3等图像分割模型。支持图像语义分割，图像实例分割，图像全景分割。支持Mask rcnn, Unet, Fcn, Deeplab_v3, SAM, Fast SAM等图像分割模型，可以实现图像精准细致的分割。

听风吹等浪起

SAM 提示框和 Unet的语义分割的融合：自动驾驶车道线分割最近SAM 模型复现的多了，看了不少官方的源码，尝试下SAM和Unet的结合SAM的提示分割，其实就是在分割的时候，为数据增加一个提示信息，可以是框，点，或者文本等等。这样大模型网络就可以根据提示信息进行分割

【计算机视觉】Pixel逐像素分类&Mask掩码分类理解摘要目标检测和实例分割是计算机视觉的基本任务。目标检测的传统方法中通常利用边界框技术进行对象定位，然后利用逐像素分类为这些本地化实例分配类。但是当处理同一类的重叠对象时，或者在每个图像的对象数量不同的情况下，这些方法通常会出现问题。

OW-VISCap——开放世界视频实例分割方法研究论文地址：https://arxiv.org/pdf/2404.03657本文提出了一种名为 OW-VISCap（开放世界视频实例分割和字幕）的方法。其三大贡献是

SAM 2——视频和图像实时实例分割的全新开源模型源码地址：https://github.com/facebookresearch/segment-anything-2 过去几年，人工智能领域在文本处理的基础人工智能方面取得了显著进步，这些进步改变了从客户服务到法律分析等各个行业。然而，在图像处理方面，我们才刚刚开始。视觉数据的复杂性以及训练模型以准确解释和分析图像的挑战带来了重大障碍。随着研究人员继续探索图像和视频的基础人工智能，人工智能图像处理的未来有望为医疗保健、自动驾驶汽车等领域带来创新。

夏日的盒盒

无监督语义分割综述语义分割是计算机视觉领域的一个重要任务，旨在将图像中的每个像素分配给特定的语义类别。然而，传统的语义分割方法通常依赖大量标注数据，获取这些数据既费时又昂贵。无监督语义分割方法旨在通过不依赖标注数据或仅需少量标注数据的情况下，实现对图像的精确分割。这些方法通过利用数据的内在结构、图像特征和自监督学习技术，从大量未标注的数据中提取有用的信息，显著降低了对标注数据的依赖。本文综述了无监督语义分割的主要方法，包括基于聚类的方法、基于图割的方法、基于生成模型的方法、基于自监督学习的方法以及基于领域自适应性的方法。

夏日的盒盒

《Cross-Image Pixel Contrasting for Semantic Segmentation》论文解读期刊：TPAMI年份：2024研究图像语义分割问题。目前的方法主要集中在通过专门设计的上下文聚合模块(如空洞卷积、神经注意力)或结构感知的优化目标(如iou样损失)挖掘"局部"上下文，即单个图像中像素之间的依赖关系。然而，它们忽略了训练数据的“全局”上下文，即不同图像之间像素之间的丰富语义关系。受最近无监督对比表示学习进展的启发，本文提出一种像素级对比算法PiCo，用于全监督学习环境下的语义分割。其核心思想是强制属于相同语义类的像素嵌入比来自不同语义类的嵌入更相似。通过明确探索以前很少研究的标记像素的结构

鹅毛在路上了

昇思25天学习打卡营第12天|FCN图像语义分割本系列文章主要用于记录昇思25天学习打卡营的学习心得。全卷积网络（Fully Convolutional Networks，FCN）是UC Berkeley的Jonathan Long等人于2015年在Fully Convolutional Networks for Semantic Segmentation[1]一文中提出的用于图像语义分割的一种框架。

【三维修复、分割与编辑】InFusion、Bootstrap 3D、GaussianGrouping、GaussianEditor等（论文总结）提示：提示：以下是本篇文章正文内容，下面案例可供参考项目主页: https://johanan528.github.io/Infusion/

【bug】使用mmsegmentaion遇到的问题由于之前用自己数据集跑过internImage，想投机取巧把internImage自定义的配置文件拿过来直接用，果不其然报错了。

文献学习-30-GRAB-Net: 用于医学点云分割的图的边界感知网络Authors: Yifan Liu, Wuyang Li, Jie Liu, Hui Chen, and Yixuan Yuan, Member, IEEE

【ICCV】PointDC，基于深度聚类的无监督3D场景语义分割，FaceChain团队联合出品论文：PointDC:Unsupervised Semantic Segmentation of 3D Point Clouds via Cross-modal Distillation and Super-Voxel Clustering，https://arxiv.org/abs/2304.08965

Stable Diffusion 绘画入门教程（webui）-ControlNet(Seg）上篇文章介绍了深度Depth，这篇文章介绍下seg（Segmentation）意思为语义分割, 通俗理解就是把图中的不同物体元素按类别不同，标为不同的颜色，不同的颜色代表不同的元素类别，如下图，左边为原图，右边就是语义分割后的预览图（还是拿之前的房子举例）：

【论文笔记】Learning Deconvolution Network for Semantic Segmentation重要说明：严格来说，论文所指的反卷积并不是真正的 deconvolution network 。关于 deconvolution network 的详细介绍，请参考另一篇博客：什么是Deconvolutional Network？

YOLOv8界面-目标检测+语义分割+追踪+姿态识别（姿态估计）+界面DeepSort/ByteTrack-PyQt-GUIYOLOv8-DeepSort/ByteTrack-PyQt-GUI是一个多功能图形用户界面，旨在充分发挥YOLOv8在目标检测/跟踪和人体姿态估计/跟踪方面的能力，与图像、视频或实时摄像头流进行无缝集成。支持该应用的Python脚本使用ONNX格式的YOLOv8模型，确保各种人工智能（AI）任务的高效和准确执行。