使用 OpenCV 和 GrabCut 算法进行交互式背景去除

一、说明

我想,任何人都可以尝试从图像中删除背景。当然,有大量可用的软件或工具能够做到这一点,但其中一些可能很昂贵。但是,我知道有人使用窗口绘画3D魔术选择或PowerPoint背景去除来删除背景。
如果您是计算机视觉领域的初学者,这可能适合您。让我们马上开始吧!哦,没有使用太多代码...

二、GrabCut 介绍

GrabCut 是一种计算机视觉算法,用于从图像中提取对象。因为它并不总是第一次工作,所以交互式GrabCut允许用户指示如何提高输出。在网络上,有几个GrabCut实现;有些只在Python中运行(没有Web界面),而另一些则不是交互式的。

2.1 使用GrabCut的过程是什么?

  1. 用户进入矩形。此矩形之外的所有内容都将被视为背景。矩形内的一切都是一个谜。

2.算法标记前景和背景中的像素(或硬标记)

  1. 然后使用高斯混合模型 (GMM) 对前景和背景进行建模。

  2. GMM根据我们提供的数据学习并创建新的像素分布。换句话说,未知像素根据它们与其他硬标记像素的颜色统计关系被标记为可能的前景或可能的背景(就像聚类一样)。

  3. 此像素分布用于创建图形。像素是图形中的节点。添加了两个新节点:"源"节点和"接收器"节点。每个前景像素都链接到一个源节点。

信用 researchgate.net

2.2 如何使用GrabCut的包

2.2.1 第 1 步:导入必要的包

首先,我们必须导入必要的包并覆盖我们的 matplotlib 函数。

代码片段:

alk 复制代码
import cv2
import dlib
import sys
import numpy as np
from tkinter import filedialog
from matplotlib import pyplot as pltdef imshow(title = "Image", image = None, size = 10):
    w, h = image.shape[0], image.shape[1]
    aspect_ratio = w/h
    plt.figure(figsize=(size * aspect_ratio,size))
    plt.imshow(cv2.cvtColor(image, cv2.COLOR_BGR2RGB))
    plt.title(title)
    plt.show() 

2.2.2 第 2 步:选择投资回报率函数

我们可以使用此 OpenCV 方法从图片中仔细手动选择我们需要的感兴趣区域。

原始照片

致谢 Eskipaper.com

alk 复制代码
img = r"C:\Users\jinzh\Desktop\Project\Python\python-opencv\lovely-girl-background-1.jpg"

image = cv2.imread(img)
copy = image.copy()
# Create a mask (of zeros uint8 datatype) that is the same size (width, height) as our original image 
mask = np.zeros(image.shape[:2], np.uint8)bgdModel = np.zeros((1,65), np.float64)
fgdModel = np.zeros((1,65), np.float64)x, y , w, h = cv2.selectROI("select the area", image)start = (x, y)
end = (x + w, y + h)rect = (x, y , w, h)
cv2.rectangle(copy, start, end, (0,0,255), 3)
imshow("Input Image", copy) 

输出

生成自 Jupyter Notebook(作者)

2.2.3 第 3 部分 抓取切割算法算法:

抓取参数

  1. img --- 输入图像

  2. 蒙版 --- 这是一个蒙版图像,用于指定哪些部分是背景、前景或可能的背景/前景等。标志cv.GC_BGD、cv.GC_FGD、cv.GC_PR_BGD、cv.GC_PR_FGD,或者只是传递 0,1,2,3 以映像完成此操作。

  3. rect --- 在格式中,它是包含前景对象 (x,y,w,h) 的矩形的坐标

  4. bdgModel 和 fgdModel --- 由算法在内部使用。你只需要创建两个 np.float64 类型的零数组,每个数组的大小为 np.float64 (1,65)。

  5. iterCount --- 算法应运行的迭代次数。

  6. mode --- 这应该是cv.GC_INIT_WITH_RECT的、cv.GC_INIT_WITH_MASK的或混合的,这取决于我们是在绘制矩形还是画龙点滴。

alk 复制代码
cv2.grabCut(image, mask, rect, bgdModel, fgdModel, 100, cv2.GC_INIT_WITH_RECT)
mask2 = np.where((mask==2)|(mask==0),0,1).astype('uint8')
image = image * mask2[:,:,np.newaxis]imshow("Mask", mask * 80)
imshow("Mask2", mask2 * 255)
imshow("Image", image) 

解释

  1. 运行算法 5 次迭代。因为我们使用的是矩形,所以模式应该是cv.GC_INIT_WITH_RECT的。

2.遮罩图像由Grabcut修改。

  1. 如上所述,新蒙版图像中的像素将标有四个标志,表示背景/前景。

4.因此,我们更改了蒙版,使所有0和2像素都设置为0(背景),所有1和3像素都设置为1。(即前景像素)。

  1. 我们最后一个面具现在已经完成。要获得分割的图像,只需将其乘以输入图像即可。

输出

生成自 Jupyter Notebook(作者)

你。我们终于能够删除背景。

三、参考和引用

  1. "GrabCut" | ACM SIGGRAPH 2004 Papers
  2. OpenCV: Interactive Foreground Extraction using GrabCut Algorithm
相关推荐
标书畅畅行3 分钟前
钛投标标书查重系统技术架构与功能实现解析
大数据·人工智能
Stick_ZYZ4 分钟前
从“能调用工具”到“能稳定执行任务”:Agent 工程化的下一步
java·人工智能·后端·spring·ai
宸一10 分钟前
Day 4:用后端思维拆解Agent核心架构——三元组、工具调用、错误处理
人工智能
wabs66614 分钟前
关于贪心算法【划分字母区间】的问题总结(C++语法)
算法·贪心算法
KaMeidebaby15 分钟前
卡梅德生物技术快报|蛋白翻译后修饰:YAP/TAZ 分子调控机制与靶向干预技术
前端·人工智能·物联网·百度·新浪微博
阿里云大数据AI技术19 分钟前
DataWorks Data Agent:从增强到自主,数据智能体的范式跃迁
人工智能·agent
lulu121654407820 分钟前
Codex Computer Use 深度分析:AI桌面自动化的技术突破与行业影响
java·运维·人工智能·自动化·ai编程
chenying99817923 分钟前
扩散模型语音克隆:参考音频注入的五种方式
人工智能·音视频·语音合成
weixin_4684668526 分钟前
多鲁棒优化新手实战指南
人工智能·深度学习·机器学习·ai·模型优化