如何在mac m1模拟鼠标与键盘的自动化操作

pyautogui 是一个非常流行的库，用于模拟鼠标和键盘的操作。

这里介绍如何在mac m1平台使用 pyautogui 实现鼠标和键盘的自动化控制。

所用示例和代码参考和修改自网络资料。

1 安装`pyautogui`

`1.1 安装pyautogui`

pyautogui非常简单，安装指令如下

pip install pyautogui

1.2 iterm arch设置

如果此时直接运行pyautogui工具，会报如下错误

AttributeError: dlsym(0x477d926b8, objc_msgSendSuper_stret): symbol not found

这时因为本地是mac m1，所以安装的是arm64版本pyautogui。

然而在iterm启动pyautogui时，iterm可能有采用的还是x86的设置。

比如在iterm输入arch，有可能输出如下

arch

i386 # 这里为arch命令的输出。

这时需要讲arch切换到arm64，命令如下

arch -arm64 zsh

在此运行arch时，输出的就是arm64了。

arch

arm64 # arch的输出。

此时，就可以正常运行pyautogui了。

详细操作可参考如下文档

https://www.meaoo.cn/mac_arch.html

2 测试pyautogui

2.1 移动鼠标

将鼠标移动到 (100, 200) 坐标，持续 1 秒

复制代码

import pyautogui

# 将鼠标移动到 (100, 200) 坐标，持续 1 秒
pyautogui.moveTo(100, 200, duration=1)

2.2 单击鼠标

模拟左键单击鼠标，右键单击鼠标。

复制代码

# 左键单击
pyautogui.click()

# 右键单击
pyautogui.click(button='right')

2.3 拖到鼠标

模拟从当前位置拖动到 (300, 400)，持续 2 秒。

复制代码

# 从当前位置拖动到 (300, 400)，持续 2 秒
pyautogui.dragTo(300, 400, duration=2)

代码报错，原因未知。

AssertionError: button argument not in ('left', 'middle', 'right')

2.4 模拟按键

模拟按下回车键，模拟Ctrl+C组合键。

复制代码

# 按下回车键
pyautogui.press('enter')

# 模拟 Ctrl + C 组合键
pyautogui.press(['ctrl', 'c'])

2.5 模拟键盘输入

模拟键盘输入 'Hello, World!'。

复制代码

# 输入 'Hello, World!'，每个字符间隔 0.1 秒
pyautogui.write('Hello, World!', interval=0.1)

然后在jupyter-lab的下一个框中会输入自动输入Hello，World！

2.6 模拟操作Excel

操作Excel的代码示例如下

复制代码

import pyautogui
import time

# 打开 Excel 软件
pyautogui.press('winleft')  # 按下 Windows 键打开开始菜单
pyautogui.write('Excel')    # 输入 'Excel' 搜索 Excel
pyautogui.press('enter')    # 按下回车键打开 Excel

# 等待 Excel 打开
time.sleep(5)

# 自动填写表格
# 输入第一列 '姓名'
pyautogui.write('姓名')
pyautogui.press('tab')  # 切换到下一列
pyautogui.write('张三')

# 填写第二列 '年龄'
pyautogui.press('tab')
pyautogui.write('25')

# 填写完成后保存文件并关闭
pyautogui.press(['ctrl', 's'])  # 按下 Ctrl+S 保存
pyautogui.press(['alt', 'f4'])  # 按下 Alt+F4 关闭 Excel

这个需要在windows环境下实现，在mac m1环境下，智能模拟出其中的键盘输入部分。

2.7 延时等待

模拟延时等待5s

复制代码

time.sleep(5)  # 等待 5 秒钟

3 总结pyautogui

需要注意的是，pyautogui 库在 Windows、macOS 和 Linux 上都可以运行，但不同平台的热键或鼠标操作略有差异。在使用过程中，应根据具体平台的特点进行适当的调整。

reference

能控制计算机桌面的多模态AI agent框架

https://blog.csdn.net/liliang199/article/details/156018145

使用Python实现鼠标与键盘自动化操作：从基础到实战应用

https://zhuanlan.zhihu.com/p/23356032557

M1 Silicon Mac shows i386 as architecture even though /bin/zsh is the shell

https://apple.stackexchange.com/questions/467361/m1-silicon-mac-shows-i386-as-architecture-even-though-bin-zsh-is-the-shell

Mac arch切换x86_64

https://www.meaoo.cn/mac_arch.html

MAC M1 symbol not found: can not run #772

https://github.com/asweigart/pyautogui/issues/772