一个神奇的Python库:PyAutoGUI,玩转微信及各种软件自动化

哈喽,大家好,我是老表,学 Python 编程,找老表就对了。

我正在参与掘金2023年度人气创作者打榜中,点击给我投票,免费送你GPT3.5私聊服务

好文章,先点赞~谢谢你。

今天和大家分享一个超赞的自动化库--PyAutoGUI,PyAutoGUI 可以让 Python 脚本控制鼠标和键盘,通过代码操作鼠标、键盘自动与其他应用程序交互,该Python包支持在 Windows、macOS 和 Linux 上运行。

开始动手动脑

本地电脑打开 Powershell/Terminal ,切换到 Python 环境,输入以下指令即可安装 PyAutoGUI:

bash 复制代码
pip install pyautogui

安装好后就可以直接开始使用了。

首先导入包:

bash 复制代码
import pyautogui

常用基础操作

1、定位: 这是最关键的,找到要点击的位置(像素坐标)。

规定坐标原点是屏幕左上角。 我们可以使用以下指令查看屏幕大小:

bash 复制代码
# 查看屏幕尺寸,目前只支持在主屏上操作
pyautogui.size()

查看当前鼠标所在位置:

bash 复制代码
# 查看当前鼠标位置,坐标原点是屏幕左上角
pyautogui.position() 

2、移动鼠标: 找到要点击鼠标位置后,即可开始移动鼠标。 移动鼠标使用moveTo函数,可以通过 duration 参数设置移动速度。

bash 复制代码
# 在 num_seconds 秒内将鼠标移动到 (x,y)
x,y = (409, 300)
num_seconds = 1
pyautogui.moveTo(x, y, duration=num_seconds)  

还可以使用moveRel函数相对路径移动,将当前位置作为坐标轴原点。

bash 复制代码
# 在 num_seconds 秒内将鼠标移动到相对当前的位置 (x,y)
x,y = (409, 300)
num_seconds = 1
pyautogui.moveRel(x, y, duration=num_seconds)  

3、点击: 鼠标移动到对应位置后,即可点击了,这是最终操作,点点点~

点击流程是先移动鼠标到指定位置,然后进行点击,使用click函数,参数说明:

  • x,y 鼠标点击位置
  • clicks 点击次数
  • interval 点击频率,如果是1 就是每秒点击1次,直到完成 clicks 次点击
  • button 支持 left right middle,分别对应鼠标左键、右键、中键
bash 复制代码
x,y = (620, 538)
num_of_clicks = 2
secs_between_clicks = 1
pyautogui.click(x=x, y=y, clicks=num_of_clicks, interval=secs_between_clicks, button='left')

应用案例1:关注公众号太多,程序帮你批量取关

766个,真难顶!每天公众号里都有如潮水般的消息涌出,久而久之就懒得去看了,但其中也有很多关键信息,为提高阅读效率,先批量取关,然后根据需要再关注吧~

分析自动化步骤

先看手动取关步骤:

  • 点击联系人-公众号(直接手动)
  • 点开要取关公众号-点击查看历史消息
  • 点击已关注-点击不再关注,即可

从上面步骤不难分析出,可以自动化操作的是后两步,总共涉及4个需要点击的地方,正常情况这四个地方不会有变化,所以我们只需找到这四个地方坐标,然后开启自动化,按顺序点击即可。

找要点击位置坐标

比较简单的方法是直接将鼠标放到对应位置,然后使用pyautogui.position()获取鼠标所在位置。

这样操作的前提是你得有两个屏幕,不然你没地方运行代码查坐标。当然还有一种方法就是使用截屏,去看对应位置的像素坐标。

  • 要取关公众号坐标:Point(x=388, y=386)
  • 查看历史消息坐标:Point(x=861, y=342)
  • 已关注坐标:Point(x=704, y=373)
  • 不再关注坐标:Point(x=891, y=539)

测试自动化

有了前面学习分析,写出自动化代码不难,一个for循环,然后里面点击 点击 点击 点击即可,代码如下。

python 复制代码
def click_btn(x,y):
    num_of_clicks = 1
    secs_between_clicks = 1
    pyautogui.click(x=x, y=y, clicks=num_of_clicks, interval=secs_between_clicks, button='left')

# 自动化间隔
pyautogui.PAUSE = 1
for i in range(3):
    # 点开`要取关公众号`-点击`查看历史消息`
    click_btn(388,386)
    print("点击了 要取关公众号")
    click_btn(861,342)
    print("点击了 查看历史消息")
    # 点击`已关注`-点击`不再关注`,即可
    click_btn(704,373)
    print("点击了 已关注")
    click_btn(891,539)
    print("点击了 不再关注")
    break

实际运行发现了一个问题,就是 要取关公众号 位置是不变的,但其它的 查看历史消息、已关注 是会受公众号简介内容长短而变化的,公众号简介长,按钮位置就会下移。

如何定位 查看历史消息、已关注 按钮位置成了现在的主要问题!

主要问题:根据文字定位

查了会资料,发现 pyautogui 有一个内置函数就支持通过指定内容来查找对应内容所在位置,这里用到的就是locateOnScreen函数,其原理是通过图像识别去匹配需要查找内容在图片中的像素区域位置。以下是其工作原理的简要描述:

  1. 截屏 :首先,pyautogui 会获取当前屏幕的截图。

  2. 模板匹配 :然后,pyautogui 将你提供的参考图像(模板)在截取的屏幕图像上移动,尝试在屏幕上找到一个位置,使得参考图像与屏幕截图的某个区域的匹配度最高。

  3. 像素比较:在模板匹配过程中,算法会对参考图像和屏幕截图的每个像素进行比较,计算它们之间的相似度。相似度通常是通过计算颜色差异来评估的。

  4. 确定位置 :如果找到了一个区域,其与参考图像的相似度超过了设定的阈值(有时你可以设置一个confidence参数来指定这个阈值),pyautogui 便会返回这个区域的坐标和大小。这个坐标是屏幕截图上参考图像左上角的位置。

  5. 返回结果 :如果找到了匹配的区域,pyautogui 返回一个包含了left, top, width, height的元组或矩形对象;如果没有找到匹配区域,它会返回None

主要参数解析:

  • image:这是一个字符串或Pillow的Image对象,指定要在屏幕上查找的图像。如果是字符串,它应该是图像文件的路径。
  • confidence:可选参数,指定匹配的可信度阈值,介于0到1之间。一个更高的值意味着更精确的匹配,但可能导致没有找到匹配项。默认情况下,这个值是未设置的,但是如果安装了OpenCV,可以使用这个参数。
  • region:可选参数,一个四元组(left, top, width, height),指定屏幕上一个区域来限制搜索范围。这可以提高搜索速度并减少误匹配。

经过多次测试发现 locateOnScreen 匹配出来的坐标 x、y 值都是原位置的2倍,所以得到了查找 查看历史消息、已关注 按钮位置的方法,代码如下:

python 复制代码
text_location = pyautogui.locateOnScreen(image='ckls.jpg', confidence=0.7)
click_btn(text_location.left/2+15, text_location.top/2+4)
print("点击了 查看历史消息")
text_location = pyautogui.locateOnScreen(image='ygz.jpg', confidence=0.7)
click_btn(text_location.left/2+25, text_location.top/2+10)
print("点击了 已关注")

其中 ckls.jpg、ygz.jpg 为 查看历史消息、已关注 截图。

再次测试自动化

结合前面分析,将代码稍作修改即可,测试的时候发现新问题,点击查看历史消息后,公众号详情页面加载需要时间,如果直接执行点击已关注可能会出现错误,所以代码里在点击查看历史消息后加了time.sleep(1.5)给点缓冲时间,具体代码如下:(大家复现的时候里面的坐标需要改成大家屏幕对应的,位置分析方法前面已经分享过了)

bash 复制代码
import pyautogui
import time
def click_btn(x,y):
    num_of_clicks = 1
    secs_between_clicks = 1
    pyautogui.click(x=x, y=y, clicks=num_of_clicks, interval=secs_between_clicks, button='left')

# 自动化间隔
for i in range(671):
    try:
        print(f"正在取关第{i+1}个公众号号")
        # 点开`要取关公众号`-点击`查看历史消息`
        click_btn(509,497)
        print("点击了 要取关公众号")
        text_location = pyautogui.locateOnScreen('ckls.jpg', confidence=0.7)
        click_btn(text_location.left/2+15, text_location.top/2+4)
        # print("点击了 查看历史消息")
        # 上一步后加载页面需要时间
        time.sleep(1.5)
        text_location = pyautogui.locateOnScreen('ygz.jpg', confidence=0.7)
        click_btn(text_location.left/2+25, text_location.top/2+10)
        # print("点击了 已关注")
        click_btn(949,620)
        print("点击了 不再关注")
    except Exception as e:
        continue

运行结果:

如果想要更多自动化源码,或者交流Python相关问题,可以私信我或者评论区提问。

相关推荐
白拾17 分钟前
使用Conda管理python环境的指南
开发语言·python·conda
是刃小木啦~37 分钟前
三维模型点云化工具V1.0使用介绍:将三维模型进行点云化生成
python·软件工程·pyqt·工业软件
总裁余(余登武)43 分钟前
算法竞赛(Python)-万变中的不变“随机算法”
开发语言·python·算法
一个闪现必杀技1 小时前
Python练习2
开发语言·python
Eric.Lee20211 小时前
音频文件重采样 - python 实现
人工智能·python·深度学习·算法·audio·音频重采样
大神薯条老师1 小时前
Python从入门到高手5.1节-Python简单数据类型
爬虫·python·深度学习·机器学习·数据分析
Mr.D学长1 小时前
毕业设计 深度学习社交距离检测系统(源码+论文)
python·毕业设计·毕设
wdxylb1 小时前
解决Python使用Selenium 时遇到网页 <body> 划不动的问题
python
代码骑士2 小时前
【一起学NLP】Chapter3-使用神经网络解决问题
python·神经网络·自然语言处理
wxin_VXbishe2 小时前
springboot合肥师范学院实习实训管理系统-计算机毕业设计源码31290
java·spring boot·python·spring·servlet·django·php