python 深度学习 项目调试 图像分割 segment-anything

起因, 目的:

  1. 项目来源: https://github.com/facebookresearch/segment-anything
  2. 项目目的: 图像分割。 提前图片中的某个目标。
  3. facebook 出品, 居然有 47.3k star!

思考一些问题

  1. 我可以用这个项目来做什么?
  2. 给一个图片, 进行分割, 如何提取出自己想要的内容?
  3. 别人用这个项目来做什么?

调试过程:

  1. 下载压缩包。 pip install -e .
  2. pip install opencv-python pycocotools matplotlib onnxruntime onnx
  3. 下载模型。 总共有3个模型。 我选最小的 358 MB
运行示例
  1. 查看 notebooks 里面的3个文件,示例写的很好。
  2. 换成自己的图片,更有趣一些!
  3. 如果图片太大,先进行缩小。 不然内存和显存都不够,很卡!

原始图片:

简单分割一下:

画图函数,我修改了示例中的画图函数

这里, take = 10 , 只选取10个即可。

其实,简单的图片, 3个 masks 就够了。

python 复制代码
def show_anns(anns, take=10):
    # 检查传入的注释列表是否为空
    if len(anns) == 0:
        return

    # 对注释列表进行排序,按照每个注释的区域大小降序排列
    sorted_anns = sorted(anns, key=(lambda x: x['area']), reverse=True)[:take]

    # 获取当前的轴对象,用于绘图
    ax = plt.gca()
    # 关闭自动缩放,以确保绘制的图像不会因为数据的变化而改变大小
    ax.set_autoscale_on(False)

    # 创建一个全白的图像,其尺寸与第一个注释的分割区域相同
    # 这里假设所有注释的分割区域尺寸是一致的
    img = np.ones((sorted_anns[0]['segmentation'].shape[0], sorted_anns[0]['segmentation'].shape[1], 4))

    # 将图像的 alpha 通道(透明度)设置为 0,表示完全透明
    img[:,:,3] = 0

    # 遍历排序后的注释列表
    for ann in sorted_anns:
        # 获取当前注释的分割区域
        m = ann['segmentation']
        # 为每个注释生成一个随机颜色的遮罩,透明度设置为 0.35
        color_mask = np.concatenate([np.random.random(3), [0.35]])
        # 将遮罩应用到图像上,覆盖对应的分割区域
        img[m] = color_mask

    # 在轴对象上显示图像
    ax.imshow(img)

结论 + todo

图像相关的项目,需要显存。

masks = mask_generator.generate(image) # 运行这一步, gpu 用了 5.6G / 8.7G


老哥留步,支持一下。

相关推荐
沐知全栈开发10 分钟前
JavaScript 输出
开发语言
love530love26 分钟前
【笔记】 Podman Desktop 中部署 Stable Diffusion WebUI (GPU 支持)
人工智能·windows·笔记·python·容器·stable diffusion·podman
CoovallyAIHub42 分钟前
Transformer作者开源进化计算新框架,样本效率暴增数十倍!
深度学习·算法·计算机视觉
程序员晚枫1 小时前
Python 3.14正式发布!这5大新特性太炸裂了
python
自学AI的鲨鱼儿1 小时前
ubuntu22.04安装gvm管理go
开发语言·后端·golang
先做个垃圾出来………1 小时前
SortedList
python
这里有鱼汤1 小时前
从DeepSeek到Kronos,3个原因告诉你:Kronos如何颠覆传统量化预测
后端·python·aigc
晓宜1 小时前
Java25 新特性介绍
java·python·算法
旭意1 小时前
C++微基础备战蓝桥杯之数组篇10.1
开发语言·c++·蓝桥杯
深栈2 小时前
机器学习:决策树
人工智能·python·决策树·机器学习·sklearn