按钮是图片、系统没接口?我用找图加OCR把它自动化了

接了个活:公司用了八年的行业客户端,要每天从里面导数据。这软件没有接口,界面是自绘的,元素捕获抓不到,连导出按钮都是一张贴图。

以前每天人工点一遍,十分钟,无聊但不敢错。后来我用光刃RPA 把它做成了机器人,核心思路就一句话:元素抓不到,就让机器人看。一、三件套兜底,总有一个抓得到这类老系统有一套降级打法:1. 先试窗口元素捕获,标准控件直接读控件树,最稳;2. 抓不到就图像找图,把按钮截成小图,让机器人在屏幕上找坐标;3. 图里有字就上 OCR,识别文字顺便定位。我这套流程里,三个都用上了。二、找图:把贴图按钮变成坐标做法很笨但有效:把那个导出按钮截图,裁得只剩按钮本体,流程里用图像找图拿到坐标,再接一个鼠标点击。有个坑必须说:截图要和实际显示同分辨率、同缩放。我们电脑是 125% 缩放,头一版截图是在系统默认缩放下截的,死活找不到,查了半天才发现是缩放对不上。三、OCR:把图片里的数字读出来界面上有块本月累计:8,732.50,要读进流程做比对。用 OCR 识别区域框住那块,返回文本后用文本指令清洗成数字,存进变量。数字清晰的话识别很少出错;实在不放心,就在前面加一步裁剪放大,准确率还能再提一截。四、稳定性是磨出来的老系统自动化最怕偶尔不灵,我加了三道保险:1. 找图失败自动重试 3 次,间隔 1 秒;2. 还找不到就截图存档加写日志,跑完看一眼日志就知道哪天出的岔子;3. 鼠标用拟人轨迹移动、点击加随机延时,有些老软件会检测鼠标像不像机器,直线瞬移容易被它盯上。跑了两周,一天都没掉过链子。五、丑话说在前面图像方案的稳定性天然不如元素定位:换分辨率、换主题、界面改版,截图都得重做。所以我的顺序永远是:能用元素就用元素,实在不行才上图像,并且一定配日志告警。这套东西不难,难的是你敢把看起来只能人做的活,交给机器人试一次。

相关推荐
分布式存储与RustFS44 分钟前
向量表别堆本地盘:用 LanceDB 把数据集建在 RustFS 上
运维·云原生·开源·对象存储·分布式存储·s3·性能基准
无忧.芙桃15 小时前
Linux系统编程(四):用户与权限管理
linux·运维·服务器
谙弆悕博士17 小时前
多智能体架构详解:层级树状架构(分级主从型)
运维·架构·大模型·agent·多智能体·langgraph·层级树状
HMS工业网络20 小时前
工业远程访问的五项安全部署原则
运维·服务器·安全
吴建旭 智宅焕21 小时前
智能家居全国交付中执行端能力评估与分级调度架构设计:从注册数量到交付确定性的系统实现
运维·智能家居·devops
IT大白鼠1 天前
eBPF 观测入门:用 bpftrace 给服务器装上“内核摄像头“
运维·服务器·ebpf
分布式存储与RustFS1 天前
Zeppelin 笔记本重启就丢:三个环境变量把 .zpln 存进 RustFS 桶
运维·云原生·开源·对象存储·分布式存储·s3·性能基准
好用斋1 天前
内网测速 LibreSpeed:网页版 Docker 测速服务
运维·docker·容器
江华森1 天前
从零开始:智能运维概念与Linux环境准备完全指南
linux·运维
橙橙子2301 天前
Linux----libevent
linux·运维·服务器