计算机视觉大项目(1)-水果分级系统

项目来源：河北大学计算机视觉课程-杨老师.

一共有四个标题，本篇博客只完成前两问。

目录

实验目的:

实验内容：

实验步骤：

1.水果图像的分割

[>掩膜图像Mask 是什么？](#>掩膜图像Mask 是什么？)

>改进:去除反光部分的影响

2．目标的特征提取

>Canny算子？

[>图像矩 Hu矩阵 是什么？](#>图像矩 Hu矩阵 是什么？)

---

实验目的:

1．掌握物体分类模型中的决策树模型和SVM模型；

3．掌握利用Matlab/Python进行物体分类的方法；

3．设计Matlab/Python程序，实现一个水果分级系统。

在本项目中，我选择Python。

实验内容：

1．对输入的水果图片进行分割，得到水果的目标图像。

2．设计特征提取方法，实现对水果目标的特征提取，产生特征向量；

3．利用得到的特征向量，设计决策树实现水果分级；

4．用带标签的特征集训练SVM，设计基于SVM的水果分级系统。

实验步骤：

1．水果图像的分割

设计合理的分割算法，实现对单个水果的分割；分割之前需要进行图像增强。

2．目标的特征提取

设计合理的特征提取方法，实现对水果目标的特征提取（如：颜色特征、形状特征、纹理特征等），产生特征向量；

注：是否需要进行特征选择，需根据实际情况做出选择。

根据当前水果目标的实际情况，给特征向量添加标签，以便产生训练样本集。

---

1.水果图像的分割

代码：

import cv2
import numpy as np

#图像增强，调整alpha（对比度因子）和beta（亮度加成）来增强图像
def enhance_image(image, alpha, beta):
    """
    alpha :对比度
    beta :亮度
    """

    #np.clip确保像素值在0到255的范围内
    new_image = np.clip(alpha * image + beta, 0, 255)

    #将结果转换为8位无符号整数类型
    return new_image.astype(np.uint8)

#图像分割函数，使用HSV颜色空间和颜色阈值来分割图像中的水果。
def segment_fruit(image):
    # BGR图像转换为HSV色彩空间
    # HSV色彩空间包含三个通道 Hue色调、饱和度Saturation、明度Value
    hsv_image = cv2.cvtColor(image, cv2.COLOR_BGR2HSV)

    # 设置苹果颜色的HSV阈值范围来检测苹果的颜色，范围可调整
    # 第一组为检测较浅的红色或橙色
    lower_red = np.array([0, 50, 50])
    upper_red = np.array([10, 255, 255])
    # 第二组为检测较深的红色
    lower_red2 = np.array([170, 50, 50])
    upper_red2 = np.array([180, 255, 255])

    # 创建颜色掩模，两个掩模分别表示图像中属于指定颜色范围的区域
    # mask是二值图像，保留白色像素，丢弃黑色像素
    mask1 = cv2.inRange(hsv_image, lower_red, upper_red)
    mask2 = cv2.inRange(hsv_image, lower_red2, upper_red2)

    # 合并红色区域的两个不同范围的掩模
    mask = mask1 + mask2
    # 二值掩模中，相加操作等同逻辑"或"操作
    # 只要任一掩模为白色（即值为255）,合并后的掩模在该位置也为白色

    # 应用掩模获取最终结果
    result = cv2.bitwise_and(image, image, mask=mask)
    # bitwise_and()：将原始BGR图像与其自身进行按位与操作,使用合并后的掩模作为条件
    # 这样，只有掩模中为白色的区域（即检测到的颜色区域）会保留在结果图像中，其余区域将变为黑色。

    # 返回应用掩模后得到的图像,只包含检测到的颜色区域
    return result


# 加载图像
image_path = 'apple.jpg'  #图片路径
image = cv2.imread(image_path)
image = cv2.resize(image, (350, 350))  # 调整图像大小

# 图像增强
alpha = 1.5 #对比度
beta = 50   #亮度
enhanced_image = enhance_image(image,alpha,beta)

# 图像分割
segmented_image = segment_fruit(enhanced_image)

# 显示结果
cv2.imshow('Original Image', image)
cv2.imshow('Enhanced Image', enhanced_image)
cv2.imshow('Segmented Image', segmented_image)

cv2.waitKey(0) #等待用户按键
cv2.destroyAllWindows() #关闭所有OpenCV窗口

运行结果:

观察结果，发现苹果图像被增强后，原本是红色的部分被反光成白面，反光面的颜色阈值超出了我们所设定的范围，这就导致在进行图像分割时，原本属于苹果的部分被掩膜图像覆盖掉，被丢弃了。

>掩膜图像Mask 是什么？

什么是图像中的掩膜(Mask)，如何使用掩码_图像掩膜-CSDN博客

推荐一篇很好的博客。

掩膜定义：掩膜通常是一个与原始图像大小相同的二值或布尔图像，选定的区域被标记为1（或True），其余区域被标记为0（或False）。

用途：当对图像应用一个操作时，掩膜可以用来限制这个操作只在图像的特定区域内发生，提取感兴趣区，感兴趣区内图像值保持不变，而区外图像值都为0。

**实现方式：**编程时，掩膜通常是一个数组或矩阵，其大小与原图像相同。使用掩膜时，只处理掩膜数组中值为1（或True）的对应像素，而忽略值为0（或False）的像素。

简单来说，掩膜实现了只关注感兴趣区域内的图像部分，需要的留下来(像素值非0)；不需要的就"丢弃"掉，像素值为0。 所以掩膜图像一般呈现黑白色。

在代码中输出Mask图像:

>改进:去除反光部分的影响

以下是去除反光部分的一些方法：

1. 图像预处理：
   • 平滑处理：使用高斯模糊或其他平滑滤波器来减少图像中的噪声和细节，有助于减少反光造成的边缘效应。
   • 直方图均衡化：增强图像的对比度，使得反光区域和水果其他部分的对比度更加明显。
   • 色彩空间转换：将图像从RGB色彩空间转换到HSV、Lab或其他色彩空间，以便更好地分离颜色和亮度信息。在HSV色彩空间中，可调整V（亮度）通道以减少反光的影响。
2. 反光区域检测：
   • 阈值处理：根据亮度或色彩差异，通过设定阈值来检测并标记反光区域。
   • 形态学操作：使用膨胀、腐蚀等形态学操作来增强或消除反光区域的特征。
   • 边缘检测：利用反光区域通常具有较明显的边缘特征，通过边缘检测算法来识别反光区域。
3. 反光区域修复：
   • 插值：在检测到反光区域后，可以使用周围像素的插值来替换或修复这些区域。
   • 区域填充：如果反光区域是连续的，可以使用区域填充算法来填充这些区域，并用周围像素的平均值或其他方法来替代。
   • 图像修复技术：使用更高级的图像修复技术，如基于样本的图像修复或深度学习方法，来修复反光区域。
4. 特征提取和分割：
   • 使用颜色、纹理和形状特征：提取用于分割的特征时，考虑使用颜色、纹理和形状等多种特征，以更好地描述水果和反光区域的差异。
   • 深度学习：使用深度学习技术训练模型，该模型能够识别并分割水果图像中的反光区域，需大量的标记数据来训练模型。
5. 后处理：
   • 优化分割结果：使用形态学操作、阈值处理或其他技术来优化分割结果，以减少反光区域对分割结果的影响。
   • 人工检查：对于重要的应用或需要高精度分割的场景，可以引入人工检查步骤来验证和校正分割结果。

我的方法：尝试调整HSV色彩空间中的参数，降低对比度alpha和亮度beta参数的值:

运行一遍，效果好很多，反光部位大部分被检测到了：

---

2．目标的特征提取

选取一张苹果图片，对它进行颜色特征和形状特征的提取，并且生成特征向量，并添加标签。

代码：

import cv2

# 提取图像的颜色特征，使用颜色直方图。
def extract_color_features(image):
    # 计算三个颜色通道的直方图并将其展平
    color_features = []

    #遍历图像的BGR三个颜色通道（蓝、绿、红）
    for i in range(3):  # BGR三个通道

        # cv2.calcHist函数计算颜色直方图
        # 直方图的bin数量为256（像素值范围0-255），且范围是[0, 256]
        hist = cv2.calcHist([image], [i], None, [256], [0, 256])

        #将计算得到的每个通道的直方图展平 二维 -> 一维  ，添加到color_features中
        color_features.extend(hist.flatten())

    #查看hist的类型，为一维列表
    #print('hist type:',type(hist))

    # 返回包含颜色通道直方图的color_features列表
    return color_features

# 提取图像的形状特征，使用Canny边缘检测和Hu矩。
def extract_shape_features(image):
    # 使用Canny算法检测边缘，100和200是Canny算法中的双阈值，用于确定哪些边缘应被保留
    edges = cv2.Canny(image, 100, 200)

    # cv2.moments计算边缘图像的空间矩,述了边缘图像的形状特性
    moments = cv2.moments(edges) # 使用Hu矩提取形状特征

    # cv2.HuMoments从空间矩中计算Hu矩
    # Hu矩是一组七个数值，它们对于图像的缩放、旋转和平移是不变的，常用于形状识别
    hu_moments = cv2.HuMoments(moments).flatten()

    return hu_moments.tolist() #计算得到的Hu矩展平并转换为列表 并返回

#  生成特征向量并添加标签。
def create_feature_vector(image, label):
    color_features = extract_color_features(image) # 颜色特征
    shape_features = extract_shape_features(image) # 形状特征

    #查看一下颜色特征和形状特征的长度
    print("color_features size:", len(color_features))
    print("shape_features size:", len(shape_features))

    feature_vector = color_features + shape_features
    feature_vector.append(label)  # 添加标签
    return feature_vector

# 加载图像
image_path = 'apple.jpg'
image = cv2.imread(image_path)
image = cv2.resize(image, (350, 350))  # 调整图像大小

# 生成特征向量
label = 1  # 添加标签
feature_vector = create_feature_vector(image, label)

# 输出特征向量
print("Feature vector size:", len(feature_vector))
print("Sample of feature vector:", feature_vector[:10])  # 展示部分特征向量

运行结果，结果展示了所提取出的颜色特征和形状特征向量的长度(一维)，以及部分特征总向量，同时对所读取的图片添加了标签lable：

>Canny算子？

数字图像处理(20): 边缘检测算子(Canny算子)_canny算子公式-CSDN博客

在网上偶然看到了以为大牛的代码，展现了Canny算子对于图像处理的效果，同时也对图像进行了高斯去噪：

import cv2
import matplotlib.pyplot as plt

# 用来正常显示中文标签
plt.rcParams['font.sans-serif'] = ['SimHei']

# 读取图像
img = cv2.imread('apple.jpg')
img_RGB = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)  # 转成RGB 方便后面显示

grayImage = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) # 灰度处理
gaussianBlur = cv2.GaussianBlur(grayImage, (3, 3), 0) # 高斯滤波

# 阈值处理
ret, binary = cv2.threshold(gaussianBlur, 127, 255, cv2.THRESH_BINARY)

# Canny算子
Canny = cv2.Canny(gaussianBlur, 50, 150)

'''
# Roberts算子
kernelx = np.array([[-1, 0], [0, 1]], dtype=int)
kernely = np.array([[0, -1], [1, 0]], dtype=int)
x = cv2.filter2D(binary, cv2.CV_16S, kernelx)
y = cv2.filter2D(binary, cv2.CV_16S, kernely)
absX = cv2.convertScaleAbs(x)
absY = cv2.convertScaleAbs(y)
Roberts = cv2.addWeighted(absX, 0.5, absY, 0.5, 0)

# Prewitt算子
kernelx = np.array([[1, 1, 1], [0, 0, 0], [-1, -1, -1]], dtype=int)
kernely = np.array([[-1, 0, 1], [-1, 0, 1], [-1, 0, 1]], dtype=int)
x = cv2.filter2D(binary, cv2.CV_16S, kernelx)
y = cv2.filter2D(binary, cv2.CV_16S, kernely)
absX = cv2.convertScaleAbs(x)
absY = cv2.convertScaleAbs(y)
Prewitt = cv2.addWeighted(absX, 0.5, absY, 0.5, 0)

# Sobel算子
x = cv2.Sobel(binary, cv2.CV_16S, 1, 0)
y = cv2.Sobel(binary, cv2.CV_16S, 0, 1)
absX = cv2.convertScaleAbs(x)
absY = cv2.convertScaleAbs(y)
Sobel = cv2.addWeighted(absX, 0.5, absY, 0.5, 0)

# Laplacian算子
dst = cv2.Laplacian(binary, cv2.CV_16S, ksize=3)
Laplacian = cv2.convertScaleAbs(dst)
'''

#显示图形
plt.subplot(131), plt.imshow(img_RGB), plt.title('原始图像'), plt.axis('off')  # 坐标轴关闭
plt.subplot(132), plt.imshow(gaussianBlur),plt.title('高斯滤波后图像'),plt.axis('off')
plt.subplot(133), plt.imshow(Canny, cmap=plt.cm.gray), plt.title('Canny算子'), plt.axis('off')
plt.show()

运行结果，可以看到图像在进行高斯滤波后和Canny边缘检测后的效果：

>图像矩 Hu矩阵 是什么？

图像矩（Hu矩）简介-CSDN博客

图像或轮廓的Hu矩的定义、优缺点、适用范围,并利用OpenCV的函数HuMoments()和matchShapes()实现Hu矩的计算和轮廓匹配-CSDN博客

图像的hu矩是一种具有平移、旋转和尺度不变性的图像特征。因此在图像具有旋转和放缩的情况下Hu矩具有更广泛的应用领域。

各阶矩的物理意义：

普通矩 ：

0阶矩（m00）:目标区域的质量

1阶矩（m01,m10）：目标区域的质心

2阶矩（m02,m11,m20）：目标区域的旋转半径

3阶矩（m03,m12,m21,m30）：目标区域的方位和斜度，反应目标的扭曲

但是目标区域往往伴随着空间变换（平移，尺度，旋转），所以需要在普通矩的基础上构造出具备不变性的矩组---hu矩。

---

接下来的实验步骤，需要对水果图像数据集进行分级，如根据水果的大小分为4级，可以使用决策树、SVM、神经网络等机器学习分类算法。下一章博客再更新。