三、机器学习基础知识:Python常用机器学习库(图像处理相关库)

文章目录

  • 1、OpenCV
    • [1.1 窗口操作函数](#1.1 窗口操作函数)
    • [1.2 图像处理](#1.2 图像处理)
    • [1.3 图像捕获与人脸检测](#1.3 图像捕获与人脸检测)
  • 2、PIL
    • [2.1 主要函数](#2.1 主要函数)
    • [2.2 表情图像合成](#2.2 表情图像合成)
    • [2.3 手写数字转换](#2.3 手写数字转换)
    • [2.4 滤波查找图像边缘](#2.4 滤波查找图像边缘)

1、OpenCV

OpenCV Python是一个用于解决计算机视觉问题的Python库,是用基于C++实现的OpenCV构成的Python包。OpenCV Python和Numpy兼容,数据都被转换成Numpy数据结构,这使得OpenCV更容易与其它库(如SciPy和Matplotlib)集成。

1.1 窗口操作函数

使用OpenCV可以利用里面的函数在窗口进行图像的显示,涉及到的主要函数有三种:

(1)imshow()函数

imshow()函数是在指定的窗口中显示图像,窗口自动调整为图像大小。语法格式为imshow(string winName, Array InputData),其中,参数winName 是窗口名称,参数

InputData 为输入的图像。如果创建多个窗口,则各窗口需要具有不同的窗口名称。

(2)destroyAllWindows()与DestroyWindow (string winName)

这两个函数都可以卸载窗口,区别在于,函数destroyAllWindows()卸载全部窗口,而函数 DestroyWindow()卸载由参数winName 指定的窗口。

(3)waitkey(int delay =0)

函数 waitKey()等待用户按键,其参数delay是延迟的时间,单位为ms。在等待时间内如果检测到键盘动作,则返回按键的ASCII码,如果没有按下任何键,则返回-1。参数 delay 默认为0,即一直等待键盘输人。

1.2 图像处理

在使用OpenCV时有cv和cv2两个版本,这两个版本都提供了对图片进行读、写和显示的功能。cv对应的函数是LoadImage()、ShowImage()和SaveImage()函数;cv2对应的函数是imread()、imwrite()和imshow()函数,下面以cv2版本为例介绍其中包含的常见函数。

(1)图像的基本读写操作

基本图像处理的函数包括imread()、imwrite()、split()、merge()等。图像读取函数imread()能加载图像文件并返回图像矩阵,如果无法读取图像,将返回一个空矩阵,imread()函数支持bitmap位图、JEPG文件、png图形等各种常见的图形图像格式。

imread()函数的基本格式如下:

python 复制代码
imread(const String &filename, int flags)

其中filename表示文件名,flgs为图像色彩模式,默认为IMREAD_COLOR(值为1,BGR图像),其他常见取值如下表所示:

Mode值 说明
IMREAD_UNCHANGED 值为-1,按原样返回读取的图像,带有alpha通道(R,G,B,A 四个通道)
IMREAD_GRAYSCALE 值为0,将图像转换成单通道灰度图
IMREAD_COLOR 值为1,将图像转换为3通道BGR彩色图像,不带alpha通道
IMREAD_REDUCED_GRAYSCALE_2 值为16,将图像转换成单通道灰度图像,并且图像尺寸减小1/2
IMREAD_REDUCED_COLOR_2 值为17,将图像转换成3通道BGR彩色图像,并且图像尺寸减小1/2
IMREAD_LOAD_GDAL 值为8,使用gdal驱动程序加载图像

图像读取与保存实例:

使用cv2读取图像,将图像转换为灰度图显示并保存。

python 复制代码
import cv2 
img = cv2.imread('img.jpg',0)  #转变为灰度图
cv2.imshow('image',img)
k = cv2.waitKey(0)
if k == 27:                 #按Esc键直接退出
    cv2.destroyAllWindows()
elif k == ord('s'):            # 按's'键先保存灰度图,再退出
    cv2.imwrite('result.png',img)
    cv2.destroyAllWindows()

(2)图像的通道拆分操作

图像通常由多个通道组成,使用cv2的merge()和split()函数可以对图像的通道进行拆分与组合,例如将图像拆分为三个通道,然后将每个通道单独合成新的图像并保存。
拆分实例:

python 复制代码
import numpy as np
import cv2 
img = cv2.imread('img.jpg')   #BGR图像模式
cv2.imshow('image',img)
k = cv2.waitKey(0)
if k == 13:                #按Enter键退出
    cv2.destroyAllWindows()
elif k == ord('s'):           #按's'键保存并退出
    b,g,r = cv2.split(img)   #图像拆分成三个通道
    zeros = np.zeros(img.shape[:2], dtype = "uint8")   #值为0的单通道数组    
    imgr=cv2.merge([zeros, zeros,r])     #合并图像
    imgg=cv2.merge([zeros, g,zeros])
    imgb=cv2.merge([b,zeros, zeros])
    #将新图像写入文件
    cv2.imwrite('r.png',imgr) 
    cv2.imwrite('g.png',imgg)
    cv2.imwrite('b.png',imgb)    
    cv2.destroyAllWindows()   

1.3 图像捕获与人脸检测

在进行图像处理前还可以使用OpenCV中的cv2.VideoCapture()函数进行摄像头图像的捕获,其构造函数如下:

python 复制代码
VideoCapture()
VideoCapture(cam)
VideoCapture(const string& filename)

其中第一个是默认无参构造函数;第二个指定要打开的摄像头设备,取值为0时表示从摄像头直接获取;第三个参数为指定路径的视频文件名称。

此外还有read()方法和release()方法。read()方法用于读取视频的帧,返回值有两个:ret,frame,其中ret为布尔值,如果读取到正确的帧,则返回True,读取到文件结尾就返回False;frame为读取到的每帧的图像,是三维矩阵。release()方法用于释放并关闭摄像头。
捕获摄像头图像实例:

python 复制代码
import cv2
cap  = cv2.VideoCapture(0)
while(True):
    ret, frame = cap.read()    
    cv2.imshow(u"Capture", frame)
    key = cv2.waitKey(1)
    if key & 0xff == ord('q') or key == 27:
        print(frame.shape,ret)
        break
cap.release()
cv2.destroyAllWindows()

在摄像头捕获到图像时,若需要判断是否为人脸,可使用Haar特征分类器,该分类器为一个XML文件,文件中包含了描述人体各个部位的Haar特征值,包括人脸、眼睛、嘴唇等,文件存放在OpenCV安装目录中的\data\haarcascades目录下,一般包括多个分类器,可以根据分类器的名称判断该分类器的用途,例如haarcascade_frontalface_alt.xml和haarcascade_fronttalface_alt2.xml可以作为人脸识别的Haar特征分类器。

结合分类器文件,可以使用OpenCV中的detectMultiScale()函数进行多个人脸检测,检测出图片中包含的所有人脸,同时使用vector保存各个人脸的坐标、大小(用矩形表示)。detectMultiScale()函数格式如下:

python 复制代码
objects = cv2.CascadeClassifier.detectMultiScale(const Mat& image,CV_OUT vector<Rect>& objects,double scaleFactor = 1.1, int minNeighbors = 3, int flags = 0, Size minSize = Size(), Size maxSize = Size())

其中image表示待检测图片,一般为灰度图像;objects为待检测物体的矩形框向量组;scaleFactor为前后两次相继的扫描中,搜索窗口的比例系数,默认为1.1,即每次搜索窗口依次扩大10%;minNeighbors表示构成检测目标的相邻矩形的最小个数,默认为3个;flags默认值为0,该参数通常被省略,在使用低版本 OpenCV时,它可能会被设置为 CV_HAAR_DO_CANNY_PRUNING,表示使用 Canny 边缘检测器来排除边缘过多或过少的区域。

minSize和maxSize用于限制目标区域的范围。
摄像头范围的人脸检测:

python 复制代码
import cv2
cascPath=r"haarcascade_frontalface_alt2.xml"
faceCascade = cv2.CascadeClassifier(cascPath)
cap  = cv2.VideoCapture(0)
while(True):
    ret, img = cap.read()    
    
    faces = faceCascade.detectMultiScale(img, 1.2, 2, cv2.CASCADE_SCALE_IMAGE,(20, 20))    
    for (x, y, w, h) in faces:        
        img = cv2.rectangle(img, (x, y), (x+w, y+h), (0, 255, 0), 2)        
    cv2.imshow(u"Detect faces", img)
    
    key = cv2.waitKey(1)
    if key & 0xFF==ord('q') or key == 27:        
        break
cv2.destroyAllWindows()
cap.release()

2、PIL

在进行图像识别时,图像的质量对识别的结果具有非常重要的影响,因此一般在识别之前会对图像进行预处理。PIL模块是Python中最常用的图像处理库,它能够完成图像处理、图像批处理归档、图像展示等任务。

2.1 主要函数

PIL可以处理多种文件格式的图像,具有强大而便捷的图像处理和图形处理能力,其中对图像进行的基础操作基本上都包含在PIL的Image模块当中,该模块包含的函数可以使用图像的打开、保存、转换、合成、滤波等操作。Image模块的常用函数如下:

函数名 功能
open() 打开图像
save() 保存图像
convert() 图像格式转换
show() 显示图像
split() 从图像中拆分出各个通道
merge() 将多个通道合成一个图像
crop() 裁剪指定区域
resize() 缩放图像
blend() 将两幅图混合成一幅
filter() 设置滤波器对图像进行处理
fromarray() 从NumPy的ndarray数组生成图像

2.2 表情图像合成

心理学定义了人类6种基本表情:分别为快乐、悲伤、愤怒、惊讶、厌恶和恐惧。有的研究者尝试将不同的表情进行比对、合成,发现表情之间存在的内在联系。表情的合成可以使用图像合成实现,PIL 的 Image 模块提供了合成函数 blend(),功能是对参教给定的两个图像及透明度alpha,插值生成一个新图像。

函数格式如下:

python 复制代码
PIL.image.blend(im1,im2,alpha)

即输出满足如下公式:

out = im1*(1-alpha)+im2*alpha

若alpha取值为0,则合成图像与im1完全一致,若alpha取值为1,则合成图像与im2完全一致。此外在合成过程中,两张图像的尺寸和模式需要一致。
表情图像合成实例:

python 复制代码
from PIL import Image
img1 = Image.open( "1.jpg ")  
img1 = img1.convert('RGBA')

img2 = Image.open( "2.jpg ")
img2 = img2.convert('RGBA')

img = Image.blend(img1, img2, 0.4)
img.show()
img.save( "3.png")  

2.3 手写数字转换

数字图像在计算机内的存储方式是点阵式的,每个点存储了该像素的颜色值。图像处理的很多操作是针对图像的像素进行的,如滤波。使PIL对图像进行底层像素处理也很方便。在数字图像坐标系中,图像的起始点在左上角,为(0,0) ,整体向右下方延伸,假设纵轴以x轴表示,横轴以y轴表示,则一个像素可以使用(x,y)坐标来获取。

例如在进行手写数字识别时,需要先将数字图像预处理为文本,即使用PIL模块读取二值图,并将图像保存到文本文件中,实现过程如下:

python 复制代码
from PIL import Image
import numpy as np
import matplotlib.pyplot as plt

img=Image.open('8.jpg').convert('L')
img=np.array(img)
rows,cols=img.shape
txt=""

for i in range(rows):
    for j in range(cols):
        if (img[i,j]<=128):
            txt+='1'
        else:
            txt+='0'
    txt+="\n"        

with open('8.txt','w') as f1: 
    f1.write(txt)

原数字图:

识别后的文本:

2.4 滤波查找图像边缘

图像识别可以基于颜色、轮廓、数值等模式。在预处理时,对于边缘不够鲜明的图像,可以进行图像锐化。锐化能够突出图像的边缘信息,加强图像的轮廓特征,便于人眼的观察和机器的识别。提取边缘的锐化也称为边缘检测,边缘检测和很多图像处理方法一样,一般使用卷积和滤波方法。

PIL库的ImageFilter模块提供了对图像进行平滑、锐化、边界增强等处理的滤波器,这些滤波器主要用于Image磊的filter()方法,使用时利用该函数来调用ImageFilter模块预定义的滤波器,从而对图像进行滤波处理,常用滤波器如下所示:

滤波器 作用
BLUR 模糊
CONTOUR 提取轮廓
DETAIL 细节增强
EDGE_ENCHANCE 边缘增强
EDGE_ENCHANCE_MORE 深度边缘增强
EMBOSS 浮雕效果
FIND_EDGES 查找边缘
SMOOTH 平滑
SMOOTH_MORE 深度平滑
SHARPEN 锐化

滤波器查找图像边缘实例:

python 复制代码
from PIL import Image,ImageFilter
im = Image.open("people.jpg")
#轮廓
im.filter(ImageFilter.CONTOUR).save(r'FindCt.jpg')
#找到边缘
im.filter(ImageFilter.FIND_EDGES).save(r'FindEg.jpg')

原图:

轮廓图:

边缘图:

相关推荐
985小水博一枚呀4 分钟前
【深度学习滑坡制图|论文解读2】基于融合CNN-Transformer网络和深度迁移学习的遥感影像滑坡制图方法
人工智能·深度学习·神经网络·cnn·transformer·迁移学习
数据与后端架构提升之路13 分钟前
从神经元到神经网络:深度学习的进化之旅
人工智能·神经网络·学习
小白学大数据16 分钟前
正则表达式在Kotlin中的应用:提取图片链接
开发语言·python·selenium·正则表达式·kotlin
flashman91117 分钟前
python在word中插入图片
python·microsoft·自动化·word
爱技术的小伙子19 分钟前
【ChatGPT】如何通过逐步提示提高ChatGPT的细节描写
人工智能·chatgpt
菜鸟的人工智能之路20 分钟前
桑基图在医学数据分析中的更复杂应用示例
python·数据分析·健康医疗
懒大王爱吃狼2 小时前
Python教程:python枚举类定义和使用
开发语言·前端·javascript·python·python基础·python编程·python书籍
深度学习实战训练营2 小时前
基于CNN-RNN的影像报告生成
人工智能·深度学习
秃头佛爷3 小时前
Python学习大纲总结及注意事项
开发语言·python·学习
昨日之日20064 小时前
Moonshine - 新型开源ASR(语音识别)模型,体积小,速度快,比OpenAI Whisper快五倍 本地一键整合包下载
人工智能·whisper·语音识别