文章目录
利用本文内容从事的任何犯法行为和开发与本人无关，请理性利用技术服务大家，创建美好和谐的社会，让人们生活从繁琐中变得更加具有创造性！
前言
这前面文章中，提到了【实时屏幕捕获】的内容，这篇文章则是为大家介绍在现代计算机环境中，鼠标行为追踪的有效的方法，并通过记录和分析用户的鼠标操作，可以减少重复性工作，提高工作效率。尤其是在一些固定且重复的任务中，如接口测试、参数测试等，鼠标行为追踪为自动化提供了可能。
类似于手机上面的语言助手，不是有一个特定语言执行特定动作的功能吗，这个就类似于它，目前之所以做鼠标行为追踪并模拟是为了后面开展更加高级的功能。
基本思路
- 利用按键或时间限制捕获时间段
- 利用 OpenCV 实现鼠标位置点的追踪
- 记录每次操作位置点并回溯
安装依赖包
首先，我们需要安装所需的库。在终端或命令提示符中执行以下命令：
shell
pip install opencv-python pyautogui numpy pynputopencv-python：用于提供了丰富的图像处理和计算机视觉算法
pyautogui：用于捕获屏幕画面
numpy：用于处理大型多维数组和矩阵，以及执行与数据结构相关的数学运算
pynput：用于捕获以及控制鼠标和键盘
实时鼠标捕获
捕获鼠标位置
通过获取鼠标的位置，可以清晰地判断用户操作的区域：
python
from pynput import mouse as mos
# 鼠标控制器
mouse = mos.Controller()
# 获取当前鼠标位置
mouse.position
捕获鼠标事件
鼠标事件有三种分为：鼠标移动、点击以及滚轮滚动：
python
# 移动监听
def on_move(x, y):
print(f'鼠标移动到了：{(x, y)}')
# 点击监听
def on_click(x, y, button, pressed):
print(f'鼠标按键：{button}，在位置处 {(x, y)}, {"按下了" if pressed else "释放了"} ')
if not pressed:
# 停止监听
return False
# 滚动监听
def on_scroll(x, y, dx, dy):
print(f'滚动中... {"向下：" if dy < 0 else "向上："} 至 {(x, y)}')
# 构造监听器对象
listener = mos.Listener(
on_move=on_move,
on_click=on_click,
on_scroll=on_scroll)
# 监听启动
listener.start()
记录点击内容
根据鼠标点击来记录用户点击内容，可以有效地分析用户的行为和爱好，更好地像学徒一样去理解用户的行为，从而达到掌握其技巧：
python
import pyautogui
import numpy as np
import cv2
user_click_pos = {'event': None, 'position': None}
# 获取屏幕画面并保存
def save_screen():
# 获取屏幕截图
screenshot = pyautogui.screenshot()
# 将截图转换为 OpenCV 格式
screen_img = cv2.cvtColor(np.array(screenshot), cv2.COLOR_RGB2BGR)
# 保存截图
cv2.imwrite("screen_img.png", screen_img)
# 点击监听并记录用户点击事件
def on_click(x, y, button, pressed):
save_screen()
user_click_pos['event'] = button
user_click_pos['position'] = (x, y)
if not pressed:
# 停止监听
return False
# 构造监听器对象
listener = mos.Listener(on_click=on_click)
# 监听启动
listener.start()
效果图
