python 深度学习 项目调试 图像分割 segment-anything

起因, 目的:

  1. 项目来源: https://github.com/facebookresearch/segment-anything
  2. 项目目的: 图像分割。 提前图片中的某个目标。
  3. facebook 出品, 居然有 47.3k star!

思考一些问题

  1. 我可以用这个项目来做什么?
  2. 给一个图片, 进行分割, 如何提取出自己想要的内容?
  3. 别人用这个项目来做什么?

调试过程:

  1. 下载压缩包。 pip install -e .
  2. pip install opencv-python pycocotools matplotlib onnxruntime onnx
  3. 下载模型。 总共有3个模型。 我选最小的 358 MB
运行示例
  1. 查看 notebooks 里面的3个文件,示例写的很好。
  2. 换成自己的图片,更有趣一些!
  3. 如果图片太大,先进行缩小。 不然内存和显存都不够,很卡!

原始图片:

简单分割一下:

画图函数,我修改了示例中的画图函数

这里, take = 10 , 只选取10个即可。

其实,简单的图片, 3个 masks 就够了。

python 复制代码
def show_anns(anns, take=10):
    # 检查传入的注释列表是否为空
    if len(anns) == 0:
        return

    # 对注释列表进行排序,按照每个注释的区域大小降序排列
    sorted_anns = sorted(anns, key=(lambda x: x['area']), reverse=True)[:take]

    # 获取当前的轴对象,用于绘图
    ax = plt.gca()
    # 关闭自动缩放,以确保绘制的图像不会因为数据的变化而改变大小
    ax.set_autoscale_on(False)

    # 创建一个全白的图像,其尺寸与第一个注释的分割区域相同
    # 这里假设所有注释的分割区域尺寸是一致的
    img = np.ones((sorted_anns[0]['segmentation'].shape[0], sorted_anns[0]['segmentation'].shape[1], 4))

    # 将图像的 alpha 通道(透明度)设置为 0,表示完全透明
    img[:,:,3] = 0

    # 遍历排序后的注释列表
    for ann in sorted_anns:
        # 获取当前注释的分割区域
        m = ann['segmentation']
        # 为每个注释生成一个随机颜色的遮罩,透明度设置为 0.35
        color_mask = np.concatenate([np.random.random(3), [0.35]])
        # 将遮罩应用到图像上,覆盖对应的分割区域
        img[m] = color_mask

    # 在轴对象上显示图像
    ax.imshow(img)

结论 + todo

图像相关的项目,需要显存。

masks = mask_generator.generate(image) # 运行这一步, gpu 用了 5.6G / 8.7G


老哥留步,支持一下。

相关推荐
如夏倾城几秒前
VRRP(虚拟路由器冗余协议Virtual Router Redundancy Protocol)
网络·python·网络协议·安全·智能路由器·负载均衡·信息与通信
IvanCodes26 分钟前
LangChain(04):Runnable 与 LCEL 的执行与组合机制
python·langchain·agent
特创数字科技36 分钟前
纯本地离线运行的文档脱敏工具(技术分享)
前端·驱动开发·python
布莱克6051 小时前
Swift 循环与控制转移详解:从 for-in 到标签跳转
开发语言·ssh·swift·循环
东莞市云毅网络有限公司2 小时前
用 Playwright 搭一套问答平台引用监测的最小骨架
python·数据清洗·rag·企业知识库·文档解析
Thanks_ks2 小时前
【第 010 讲】全面掌握 Python 变量与常量:变量的定义与赋值 | 标识符与命名规范 | 变量的底层机制 | 常量与魔术数字
python·内存·变量·标识符·常量·赋值·命名规范
敲上瘾2 小时前
Qt核心机制:信号与槽详解
开发语言·c++·qt·ui·qt6.3
联犀3 小时前
ai时代复杂项目的golang项目如何更好的与ai共舞:monorepo+gozero
开发语言·人工智能·golang
飞Link3 小时前
灵巧手是什么?从机械结构、驱动方式到控制原理,认识机器人的精细操作能力
人工智能·python·机器人
用户0332126663673 小时前
使用 Python 快速查找并高亮 PDF 中的文本
python