「OpenClaw」我写了个桌面控制Skill,让龙虾接管电脑!(MacOS版)

一、最近我做了一个新的 Skill:MacOS Desktop Control

  • 它的目标很简单:让 AI Agent 能够在 macOS 上更稳定、更可控地完成桌面操作,比如打开应用、识别屏幕内容、点击按钮、输入文字、拖拽元素,以及读取窗口状态。
  • 这个 skill 已经发布在 ClawHub 上 :clawhub.ai/kd-oauth/de...

二、为什么要写这个Skill

  • macOs兼容性:现有Skill都没有专门针对macOS做兼容性配置。比如很多MacBook是Retina屏,截图是像素坐标(pixels),但鼠标点击是逻辑坐标(point)。这里不做兼容的话,Agent就会"看得准,点不准"
  • 中文兼容性:现有Skill没有对中文输入和识别的兼容。比如我要打字"你好",其他Skill会无法正确输入,因为它们默认是键盘一个一个敲英文字母
  • macOs特性使用:现有Skill没有利用到macOS一些独有的特性。比如AppleScript很擅长打开app和读app标题,Apple自带的Apple Vision很适合读文字...等等

三、这个Skill能做什么?

这里我举两个简单的例子

1.点击侧边栏会话按钮

执行效果
  • OpenClaw识别到了会话栏,并且点击打开了会话
执行流程
  • 可以看到OpenClaw用Skill的能力完成了整个流程

2.新建备忘录并输入"我是KD"

执行效果
  • 直接打开并新建&输入,执行的很快,因为完全是本地操作
执行流程
  • Applescript负责切备忘录到前台,keyboard负责快捷键和文件输入

四、目录结构

markdown 复制代码
desktop-control-for-macos/
├── SKILL.md
├── _meta.json
├── requirements.txt
├── .DS_Store
└── scripts/
    ├── applescript_app.py
    ├── applescript_window.py
    ├── calibration.py
    ├── capture_screen.py
    ├── crop_image.py
    ├── init_coordinate_mapping.py
    ├── keyboard.py
    ├── locate_image_opencv.py
    ├── locate_text_ocr.py
    └── mouse.py

五、一个清晰的操作流水线

flowchart TD A[用 AppleScript 激活 App<br/>或读取窗口状态] B[初始化坐标映射] C[截取屏幕] D[用 OCR 或 OpenCV 找到目标] E[用鼠标或键盘执行动作] F[结束 / 验证结果] A --> B --> C --> D --> E --> F

六、写在最后

欢迎大家下载使用!有意见或建议可以留言,我会持续完善这个Skill

相关推荐
VIP_CQCRE12 小时前
GPT Image 2.6 商品图换背景后悬浮?接触阴影、透明区域与反射验收
图像处理·人工智能·ai·电商
泯泷12 小时前
别再傻傻地喂文件了,大厂都在偷偷给AI建这种“专属图书馆”
人工智能
oak隔壁找我13 小时前
一款运行在 DSH(DeepSeek Harness)中的类 Postman HTTP 接口调试插件
人工智能·程序员
高洁0113 小时前
数字孪生与计算机视觉:让机器看懂现场
人工智能·python·机器学习·transformer·迁移学习
Csvn14 小时前
如果明天供应商涨价 3 倍?三层解耦,换模型只改一行配置(C05)
人工智能·aigc·agent
在所不辞兄14 小时前
为什么数字孪生驱动的产线标定需要在线更新机制,而不能一次标定后长期沿用?
人工智能·神经网络·其他·算法·机器学习
锋行天下15 小时前
langgraph 全栈项目(三)
前端·人工智能·后端
黄啊码15 小时前
【黄啊码】最近面了十几个想转 FDE 的程序员,一个都没招
人工智能
锋行天下16 小时前
langgraph 全栈项目(二)
前端·人工智能·后端
大模型真好玩16 小时前
用 Seedance 2.5 Flash 实现1分钟AI短剧,满足孩子的超级英雄对战梦
人工智能·aigc·deepseek