录一遍就会:8 种步骤、6 类失败,卡住时只修那一步
Andee 是一个住在 Android 手机里的 agent,靠无障碍服务读屏幕、自己点,不需要哪个 App 给它开接口。前天他多了一件事:把一套操作录成脚本,在设备上逐步重放,每一步都不经过模型。
结论先摆出来:跑一次的成本从「每步一次模型调用」降到零,代价是脚本必须能被验、能被修,验不过就得停。
一次运行有三种结尾
flow.run 返回的是一份报告,不是布尔值。
跑完是 done:true,带 final_screen(当前在哪个 App、可见的若干行文字)和 need_review:true。
停住是 ok:false,带 failed_at、reason、failure_class、resume_from、heal_attempt、hint。这六个字段合起来,够模型在不问用户的前提下接手。
暂停是 ok:true 加 paused:true。这种容易写错:把它当失败算,模型会去修一条本来没坏的脚本,还会占掉重试预算。
六类停法,各带一句修法
launch_blocked / wrong_screen / stale_anchor / screen_frozen / user_absent / bad_step,对应的 hint 在 FlowPlayer.hintFor() 里。
为什么要机器判类:上个月有个被系统拦住的打开动作,被读成「脚本缺了开头的打开步骤」,于是修法是在最前面插一个 launch。插完前面多一个打开,更糟。现在 launch_blocked 的 hint 第一句就是「这条脚本有 launch 步骤,它没能把 App 拉起来,不要再插一个」。
具体到每一类的判据:
stale_anchor 看 tapByAnchor 的返回值,relocated=false 就停,不点记忆里的坐标。
screen_frozen 只认一个方向,录制时 changedAfter=true、这次点完 screen_changed=false。反过来不算,那可能只是时钟跳了一下。
wrong_screen 的门禁在 gate():每一步记着录制时所在的包名,现在的前台不是它,停。
这里有个坑,单独说一句。ScreenController.currentPkg() 读的是上一次 dump 的缓存,可能是 null,也可能已经过时,App 都到前台了它还写着桌面。所以门禁先读实时窗口(screenFingerprint() 里的 activeRoot()),读不到才回退到缓存,两边都空就放行。空只表示设备说不出。
wait 步骤没有这道门禁,因为它不碰屏幕,没有东西会落错 App。抖音那条脚本里,launch 之后的 wait 记下来的是上一个 App 的包名,按包名卡的话每次重放都死在第二步。
launch 步骤也不走 gate(),改前台本来就是它的活。
打开 App 是唯一需要三段式的动作
HyperOS 会 abort 任何来自后台的 Activity 启动,自己的 Activity 也一样。唯一例外是桌面在前台。平板上量的结果很干脆:从设置页起,每次都 abort;从桌面起,都过。
所以 device.launch 现在长这样:先判当前前台,不在桌面就先回桌面;用 GLOBAL_ACTION_HOME(系统以 uid 0 自己执行,不会 abort;换成一个 HOME intent,那就只是又一次后台启动);等 HOME_SETTLE_MS = 3_000;起一个透明的 LaunchPadActivity,由它把目标的 intent 递出去;轮询 FOREGROUND_WAIT_MS = 10_000 确认目标真到了前台;没到就从桌面再来一次,for (attempt in 1..2)。
LaunchPadActivity 只有 61 行,两个细节都是付过学费的。
递出去的 intent 不能带 NEW_TASK。带了,目标会自成一个任务,用户按返回回不到原来那屏。
透明页被重建时不能再递一次。系统可能在用户已经到了目标页之后把它重建,再递一次等于把人扔回他正在离开的页面。所以只有 savedInstanceState == null 才递,递完立刻 removeExtra。
还有一类:小米安全中心的链式启动确认框。它问「是否允许打开」,launchApp 会自己点「允许」。这次打开是用户要的,点「允许」只是把它做完。框在动画里时按钮还没进树,所以扫两遍,中间停 500ms。两遍都扫不到就返回错误让人来点,不重试,重试只会把同一个框再弹一次。
这条路径替代的那个 bug 很典型:launch_app 返回成功,但屏幕上什么都没打开。另外还有一次是几分钟的重试、弹窗、重试。
修完要写回去
refit_flow 把一步重新锚定到元素今天所在的位置,并且把修改写进脚本。edit_flow 支持 insert,种类是 launch / wait / human / type / tap,编号一律沿用 get_flow 那套,所以一次调用里插多步也不用重新编号。
同一处卡住时,FlowRuntime 两分钟内只放两次自动接手(HEAL_WINDOW_MS = 120_000,MAX_AUTO_HEALS = 2)。第三次不叫醒模型,直接把报告给用户,脚本不改动。
这条预算防的是循环,不是省钱。
陌生人触发的那一轮,录不了
通知或者朋友的 Andee 发起的一轮,TurnGuards 里拦住 8 个写操作:录、存、删、改、重新对准都在里面。跑已经存在的脚本放行,因为每一步都在本地验过。
代价
只在一台小米平板、两个 App 上验过。一条 6 步的从桌面起跑全过,确认框自动点掉;一条 5 步的从设置页起跑零 abort。别的品牌没试。
每步都点到了不等于事情做成了,所以 done 里带 need_review,模型得自己看 final_screen。
脚本存在本机笔记本,包含录制时输入的文字。上限 30 条。