AI 驱动的移动端自动化开源项目调研报告

调研日期：2026-10-23

数据来源：GitHub REST API（star/更新时间/语言/license 均为当日实时数据）+ 各仓库官方 README

调研范围：以大模型 / Agent / MCP 驱动的移动端（iOS / Android）自动化项目为主，另附学术界代表性项目与基准环境

一、这波项目在做什么

2025 年 MCP（Model Context Protocol）普及后，"让 Agent 直接操控手机"成为一个密集爆发的方向。和 Appium、Maestro 等传统框架的根本区别是：指令层从写死的选择器脚本变成了自然语言目标，由 LLM 结合"屏幕快照（无障碍树 / 截图）→ 推理 → 动作"的循环来驱动设备。这些项目的差异主要集中在五个维度：

接入形态：MCP Server（给 Claude Code / Cursor / Codex 等 Agent 当工具）、独立 Agent 框架（自带模型编排）、CLI/Skill（给编码 Agent 安装的技能包）、嵌入式固件、测试框架。
驱动通道：adb（uiautomator dump / input / 自研 Portal App + 无障碍服务）、iOS（simctl / agent-device / iPhone Mirroring 窗口 HID）、BLE HID 硬件外设、手机端常驻 App。
感知方式：无障碍树（a11y tree，便宜、确定性强）、截图 + 视觉模型（贵但能看懂图标/游戏/自绘 UI）、OCR。
运行位置：纯本地（自带密钥）、厂商云真机、设备端 MCP（手机自己当 server）。
目的：通用任务自动化、QA 测试、RPA/群控/数据采集、安全研究、Agent 科研与评测。

二、项目总览

A. 用户点名项目

项目	仓库	Stars	语言/许可	平台	形态	最近推送
Mobile MCP（Mobile Next）	mobile-next/mobile-mcp	9.9k	TS / Apache-2.0	iOS+Android（模拟器+真机）	MCP Server	2026-10-18
e2e（TesterArmy）	tester-army/e2e	11.7k	TS / Apache-2.0	Web + iOS + Android	AI E2E 测试框架	2026-10-22
Phone Harness	ShawnPana/phone-harness	3.9k	Python / MIT	iOS（Mac Mirroring）+Android+云机	Agent Skill/CLI	2026-10-20
FIRERPA / lamda	firerpa/lamda	8.6k	Python / MIT	Android（另有 iOS 闭源版）	设备控制平台/RPA	2026-09-27
BlueHIDFlow（蚂蚁集团）	antgroup/BlueHIDFlow	24	C++（ESP32 固件）/ Apache-2.0	Android/iOS/鸿蒙通吃	BLE HID 硬件固件	2026-09-14

B. 新发现的重要同类项目

项目	仓库	Stars	语言/许可	平台	形态	最近推送
Midscene（字节 web-infra）	web-infra-dev/midscene	15.4k	TS / MIT	Web + Android + iOS + 鸿蒙	通用 GUI Agent + 测试	2026-10-23
Mobilerun / DroidRun	droidrun/mobilerun	9.7k	Python / MIT	Android + iOS	独立 Agent 框架 + 云	2026-10-22
Mobile-Agent 家族（阿里通义 X-PLUG）	X-PLUG/MobileAgent	9.3k	Python / MIT	Android	学术/工程 GUI Agent 家族	2026-07-07
AppAgent（腾讯 QQ GY Lab）	TencentQQGYLab/AppAgent	6.9k	Python / MIT	Android	多模态 Agent（探索+学习）	2025-03-19
android-remote-control-mcp	danielealbano/android-remote-control-mcp	739	Kotlin / 自定义许可	Android	跑在手机上的 MCP Server	2026-10-22
Android-MCP（beta）	CursorTouch/Android-MCP	903	Python / MIT	Android	纯 adb 的 MCP Server	2026-10-21
android-mcp-server	minhalvp/android-mcp-server	811	Python / Apache-2.0	Android	极简 adb MCP Server	2025-05-28
AppClaw	appclawhq/AppClaw	118	TS / Apache-2.0	iOS+Android	Appium 之上的并行 YAML Agent	2026-09-03
MobileGym	Purewhiter/mobilegym	836	Python/TS / Apache-2.0	Android（浏览器内模拟器）	GUI Agent 科研/RL 训练平台	2026-10-09
AutoDroid（港大 MobileLLM）	MobileLLM/AutoDroid	502	Python / MIT	Android	学术论文实现	2024-03-22
AppAgentX（西湖大学）	Westlake-AGI-Lab/AppAgentX	679	Python / 无 license	Android	学术（Agent 进化/记忆）	2025-04-15
AndroidWorld（Google Research）	google-research/android_world	972	Python / Apache-2.0	Android 模拟器	Agent 基准环境	2026-10-19
OSWorld（XLang，港大/厦大）	xlang-ai/OSWorld	3.2k	Python / Apache-2.0	桌面 OS + Android VM	Agent 基准（NeurIPS 2024）	2026-10-23

另有大量长尾项目（数十到数百 star 的 adb MCP server，如 zhizhuodemao/android_proxy_mcp、skydoves/android-skills-mcp、landicefu/adb-mcp 等），同质化严重，不再逐个展开。

三、点名项目逐个分析

1. Mobile MCP（mobile-next/mobile-mcp）--- 当下事实标准的"手机 MCP 服务器"

定位：把任意 MCP 客户端（Claude Code、Codex、Cursor、Gemini CLI、Copilot 等十几种）接到 iOS/Android 真机与模拟器的标准 MCP Server，npx 一行接入。底层是自研的通用设备 CLI（mobilecli），iOS 走 simctl/XCTest 体系，Android 走 adb。

工作方式 ：无障碍树优先（读原生 a11y 元素 + 坐标，不烧视觉 token），必要时才回退截图坐标；提供 30+ 工具（设备发现、App 装删启停、点击/滑动/长按/输入、录屏、日志、崩溃报告、剪贴板、定位篡改、折叠屏折叠、批量命令）。支持 stdio 与 Streamable HTTP（--listen，可加 Bearer 鉴权），并支持其云真机 Mobile Next Cloud 的设备租约。配套项目 mobilewright（"手机版 Playwright"，把 Agent 探索沉淀成确定性脚本）和同组织 agent-device（iOS/Android 统一设备驱动，也被 e2e 使用）。

适用场景：在 IDE/编码 Agent 里直接调试原生 App、让 Coding Agent 做功能验证与数据填报、把手机操作接进任意 MCP 工作流、CI 里跑云真机。

优点：

一套 API 覆盖 iOS+Android、模拟器+真机，MCP 生态适配最广（文档给了十几个客户端的配置）。
a11y 优先，token 成本和确定性都优于纯截图方案；结构化输出适合数据采集。
工程完成度高：录屏、崩溃日志、批量命令、HTTP 远程模式、鉴权、云机预留/释放齐全。
Apache-2.0，商业化友好；更新极活跃（周级提交）。

缺点：

强依赖本机 Xcode / Android SDK 环境，iOS 真机仍受 Apple 工具链限制；Windows/Linux 上 iOS 能力有限。
本身不含 Agent 大脑，任务规划质量完全取决于所接模型；复杂长流程需要自己写提示或上 mobilewright。
有匿名遥测（可关）；重度能力（云机）指向其商业云。
发布前 API 仍在演进，1.0 前可能有 breaking change。

2. e2e（tester-army/e2e）--- "AI 步骤 + 确定性断言"混合的测试框架

定位：TesterArmy 出品的下一代 Web/移动端 E2E 测试框架（TypeScript，npm 包名就叫 e2e）。测试用例仍是代码（Playwright 风格 test/expect），但可以在步骤里穿插 agent.act('自然语言目标') 和 agent.assert(...)。

关键设计------录制重放（relay/caching） ：Agent 步骤首次由模型驱动并记录动作序列，之后重放录制结果，直到 App 界面变化才重新调模型；纯确定性步骤完全不需要模型。模型自带（订阅/API Key/本地模型均可）。Web 引擎基于 Playwright，移动引擎基于 agent-device（模拟器为主），并集成 Limrun、EAS、TestMu 等托管模拟器/真机服务，还提供 GitHub PR 评论上报器。官方示例覆盖 Expo、SwiftUI、Jetpack Compose、KMP、Flutter、.NET MAUI。

适用场景：研发团队把脆弱的选择器脚本换成"自然语言操作 + 传统断言"的回归测试，跑在每个 PR 上；尤其适合 UI 频繁变动、脚本维护成本高的移动项目。

优点：

直击 AI 测试两大痛点------成本（录制重放，二次运行零模型调用）和可靠性（结果用 locator/expect 确定性校验，而不是让模型"看着像对了"）。
与现有 Playwright 心智模型、CI、PR 流程无缝衔接；跨技术栈示例齐全。
11.7k star、2026-07 才建仓，增长极快，社区（Discord）活跃。

缺点：

pre-1.0，API 可能变；本质是测试框架而非通用手机 RPA，做数据采集/群控并不对口。
移动引擎依赖 agent-device 与模拟器生态，真机 + 国产 Android ROM 的适配要自行验证。
Agent 步骤的失败诊断、动作录制在 App 改版后的失效策略仍需实战检验。
默认开启匿名遥测（可关）。

3. Phone Harness（ShawnPana/phone-harness）--- "零安装"连接你桌上真实手机的 Agent 技能

定位：Python CLI + Agent Skill（通过 uv 安装，phone-harness skill 注册到 Claude Code/Codex/Hermes），让 Agent 操控你自己的真实手机，主打手机端什么都不用装。

技术路线很有特点：

iPhone ：利用 macOS 自带的 iPhone Mirroring（手机镜像）窗口------截屏该窗口、用 Apple Vision 框架做 OCR 拿到文字坐标、再向窗口投递 HID 级鼠标键盘事件模拟触控。无需越狱、无需 Xcode、无需手机装任何东西（但需要一台 Mac 和系统配对授权）。
Android：标准 adb------screencap 截图、无障碍树取文本、input 执行操作，Win/Linux/macOS 都行。
云 iPhone：HTTPS POST 操作指令、OCR 在宿主机跑；云 Android 走 adb。另有按分钟计费的 Phone Harness Cloud（真号、2FA、隐蔽性卖点）。

适用场景：个人开发者让 Coding Agent 操作自己日常使用的真机（演示里直接用 Agent 叫 Waymo、买咖啡）；需要"真实设备 + 真实账号环境"而又不能越狱/装内测组件的场景。

优点：

iOS 方案独树一帜：绕开越狱和 XCTest 签名门槛，setup 成本是同类里最低的（有 Mac 的前提下）。
Android/iOS/云机一套 helper 函数，phone-harness doctor 自检链路；纯本地运行、MIT。
真实用户环境（非模拟器），对反自动化检测、需要真实账号历史的任务有价值。

缺点：

iOS 绑定 Mac + iPhone Mirroring，锁屏即中断；无多点触控、无摄像头/Face ID 流程，DRM 视频黑屏。
感知主要靠 OCR 文字，无文字图标必须配视觉模型截图，本质没有 a11y 树（iOS 侧）。
个人维护项目（3.9k star、单人赞助模式），API/云服务稳定性与长期投入不如组织级项目。
云机"stealth、真实号码、2FA"类宣传明显偏向灰产养号语境，企业合规使用需自行评估。

4. FIRERPA / lamda（firerpa/lamda）--- 安卓全栈设备控制与群控"重武器"

定位：国内团队的 Android 全栈设备控制平台（MIT 开源，8.6k star，2022 年至今迭代多年），在手机端植入 lamda 运行环境后暴露 160+ API。能力包括 WebRTC/H.264 远程桌面（低延迟投屏+逆向触控）、UI 自动化、OCR、图像匹配、一键 MITM 抓包、内置 Frida、代理/VPN/frp/P2P 组网、MCP/Agent 接口；配套 pigeon（设备管理与脚本任务调度平台）、hub-bridge（P2P 组网）、compiler（内置 Python 脚本加密）、skills（Agent 技能）。生态里还有基于它的第三方 AutoRPA（Root/Shizuku、授权、脚本发布、设备机群管理）。

适用场景：需要大规模真机机群的 RPA、云手机/设备农场、移动安全测试（动态分析、抓包、Frida hook）、数据采集；MCP 只是它最新加上的接入面，核心是设备端深度控制。

优点：

能力深度碾压纯 adb 包装类项目：远程桌面、网络劫持、Frida、P2P 跨网、多设备集群都是现成的。
多年迭代、文档/wiki 体系完整、中文社区，工程化程度高。
MIT 许可、支持 Root/Shizuku 等多种权限路径。

缺点：

只覆盖 Android（iOS 能力在商业版/闭源生态里）；需要在设备端植入运行环境（root 或重度权限），不适合"零安装"场景，也带来合规与封号风险。
架构重、学习曲线陡；脚本加密 compiler、商业站点（device-farm.com）等显示开源与商业边界较复杂，部分组件无 license 声明。
偏 RPA/安全视角，不是为 LLM 设计的------MCP/Agent 是后加的接口层，语义化工具、token 效率、任务规划不如新一代项目原生。
反检测、群控能力在黑灰产语境常见，企业内部使用需明确授权与用途。

5. BlueHIDFlow（antgroup/BlueHIDFlow）--- 蚂蚁开源的 BLE HID 物理级控制固件

定位：跑在 ESP32-S3 开发板上的嵌入式固件，把自己伪装成蓝牙鼠标/键盘，从系统外设层面控制手机。通过 MQTT 接收云端命令（TAP/SWIPE/INPUT/KEY_PRESS/HOME），带 AP 热点 + Captive Portal 网页配网、TLS、NVS 持久化、自动重连。

适用场景 ：这是五个项目里唯一的硬件方案，价值在于"无侵入"：

金融/政企 App、游戏、反作弊环境检测到无障碍服务/adb/越狱就拒服或告警------BLE HID 在外设层操作，系统和 App 无法从软件层区分它和真人键鼠。
跨 Android/iOS/鸿蒙三系统，无需任何系统适配；适合做真机可靠性/弱网等需要"物理真人感"的测试矩阵。

优点：

对被测系统零修改、跨三平台、抗"软件层自动化检测"，这是 adb/无障碍方案理论上给不了的属性。
Apache-2.0、大厂出品、MQTT 远程化使得一盒硬件可被平台统一调度。
便宜（ESP32-S3 十几元级），适合机柜化批量部署。

缺点：

只能做点击/滑动/输入等低级动作，没有屏幕感知回传（摄像头模块当前禁用），自身不构成闭环，必须外接截图/UI 识别链路（比如配合手机端采集或另一路投屏）。
文档自承：部分机型鼠标加速导致坐标不准、HID 模式切换要重启设备 5--8 秒；绝对坐标需要逐机校准。
24 star、非常早期（2026-06 建仓），文档/API 仍在变动；无多点触控和复杂手势。
需要硬件采购、烧录、机柜运维，软件团队上手成本高；天然也可被用于绕过风控，注意用途合规。

四、新发现项目要点

Mobilerun（DroidRun，9.7k） 是 Mobile MCP 之外最值得对标的独立 Agent 框架：Python，LLM 无关（OpenAI/Anthropic/Gemini/xAI/Ollama/DeepSeek/OpenRouter 全支持），Android 通过自研 Portal App + 无障碍服务 控制（比裸 adb 输入和 UI 树更稳），iOS 走 iOS Portal 流程；有 CLI/TUI/Docker/Python API、--vision 截图模式、--reasoning manager-executor 规划模式、app cards（给特定 App 喂提示）、结构化输出、Langfuse/Phoenix trace，并运营云机（托管云手机/高真实性真机）。自带 benchmark（宣称 91.4%）。适合想要"自带大脑、本地运行、模型可替换"的团队。短板：Portal 仍要装机授权，iOS 成熟度落后 Android，云商业色彩浓。

Midscene（字节，15.4k） 是这一领域 star 最高的项目，核心在 Web（Chrome 扩展/Puppeteer/Playwright 集成），但仓库内已有独立的 android、ios、harmony（鸿蒙）包及对应 playground，移动端三端都已覆盖；提供 YAML 流程脚本、视觉定位与断言、操作录制器（recorder）、可视化报告（visualizer）。它的位置更像"AI 版 Selenium/Playwright + 自然语言断言"，工程化和文档最成熟；移动端生态成熟度目前仍不如 Web 端深，但如果团队 Web、Android、iOS 甚至鸿蒙都要 AI 化，它是平台覆盖最统一的选择。

Mobile-Agent（阿里通义，9.3k）/ AppAgent（腾讯，6.9k）/ AutoDroid（港大，502）/ AppAgentX（西湖，679） 是学术血统的多模态 GUI Agent 代表：纯视觉（截图 + GPT-4V/Qwen-VL 类模型）决策，AppAgent 的亮点是自主探索 App 并沉淀操作文档/知识库供后续复用，AppAgentX 引入长期记忆与进化，Mobile-Agent 家族则工程化最好、衍生多个版本（单 Agent/多 Agent/视觉定位）。适合做研究 baseline、算法二次开发或对自绘 UI/游戏等无 a11y 树的场景；缺点是 token 成本高、速度慢、稳定性普遍不如 a11y 方案，且大多更新停留在 2024--2025 年（Mobile-Agent 2026-07 后趋缓，AppAgent/AutoDroid 已基本停更），生产使用要自己补工程层。

三个 Android MCP server 代表"轻量 adb 包装"流派：danielealbano 版（Kotlin，MCP server 直接运行在手机上，主打省 token、文件下载、Cloudflare/ngrok 自动隧道，适合远程单机和长时间挂机，活跃更新）；CursorTouch 版（Python，clean-room 重写，只需 adb、手机零安装，Snapshot/ClickBySelector 设计规范，文档质量高）；minhalvp 版（最简单的四个工具：adb 命令/截图/UI 布局/包管理，811 star 但 2025-05 后停更）。适合作为自建平台 MCP 层的参考实现或快速内部接入，但功能、错误恢复、设备池能力都需自己补。

AppClaw（118） 走 Appium + MCP + YAML flow 路线，强调 iOS/Android 并行执行、零遥测、LLM 无关，思路与 e2e 类似（声明式流程 + Agent），但押注 Appium 生态，成熟度低、star 小，可观察。

MobileGym（836）/ AndroidWorld（Google，972）/ OSWorld（3.2k） 属于科研与评测基础设施：MobileGym 把 Android 模拟器跑在浏览器里，支持可验证评估和大规模在线 RL 训练；AndroidWorld 是 Google 的真实模拟器任务环境（116 个跨 20 个 App 的任务），已成为手机 Agent 论文标配榜单；OSWorld 覆盖桌面 OS（含 Android VM）。如果要做 Agent 评测、模型选型打分或训练，这三个是绕不开的底座。

五、横向对比

按驱动通道与侵入性

通道	代表项目	侵入性	跨平台	感知能力	典型短板
BLE HID 硬件外设	BlueHIDFlow	零（系统层无法检测）	安卓/iOS/鸿蒙	无回传，需外接	只有低级动作、要校准、运维硬件
iPhone Mirroring + HID/OCR	Phone Harness (iOS)	零装机（需 Mac 配对）	iOS	OCR 文字	锁屏中断、无图标理解、绑 Mac
adb + uiautomator dump	Android-MCP×2、Mobile MCP、Mobilerun 基础层	低（开发者模式即可）	Android	a11y 树+截图	自绘/游戏 UI 失效；动态画面 dump 易超时
设备端 Portal App + 无障碍服务	Mobilerun、lamda、手机端 MCP	中（装机授权/root）	Android 为主	a11y 树+截图+更多系统 API	安装与授权门槛、被检测风险
simctl / XCTest / agent-device	Mobile MCP、e2e	低-中（需 Xcode）	iOS 模拟器/真机	a11y+截图	Apple 工具链重、签名限制
纯视觉模型闭环	AppAgent、Mobile-Agent	取决于底层执行器	理论任意	最强（图标/自绘）	慢、贵、不确定

按用途选型

你的目标	首选	备选
让 Claude Code/Cursor 等直接操作手机调试 App	Mobile MCP	android-remote-control-mcp（单机远程）
PR 级 AI 回归测试（Web+移动统一）	e2e	Midscene、Maestro+AI
自带大脑、模型可替换、做产品化移动 Agent	Mobilerun	Mobile-Agent（研究向）
操作自己日常真机、不能越狱装东西	Phone Harness	Mobile MCP（Android 部分）
大规模机群 / 云手机 / 安全测试 / 抓包	lamda（FIRERPA）	自研 adb 池 + Mobile MCP
绕过软件层风控的物理级测试	BlueHIDFlow + 自建视觉回传	机械臂/触控板方案
Agent 算法研究、论文复现、RL 训练	Mobile-Agent / AppAgent + MobileGym	AutoDroid、AppAgentX
Agent 能力评测 / 模型选型榜单	AndroidWorld、OSWorld	MobileGym

共同的优点与通病

这一代项目共同证明了两件事：a11y 树 + LLM 的组合已经能稳定完成大多数常规 App 操作；MCP 正在成为"Agent ↔ 设备"的标准接口层。通病也很一致：长流程成功率随步数衰减、复杂手势/验证码/权限弹窗/锁屏仍是边界、token 成本与速度在纯视觉方案上不可接受、失败后自愈普遍较弱（e2e 的录制重放和 Mobilerun 的 reasoning 是目前较有针对性的尝试）、设备池调度与企业权限体系基本都要自建。

六、对自建测试平台的参考价值

结合我们自己 FastAPI+Vue 系列测试平台（webui-test-platform、app-ui-test-platform、CaseBridge、testcase-agent-harness 等）的路线，可直接借鉴的点：

MCP 作为设备执行层的标准北向接口值得跟进：Mobile MCP 的工具粒度（list_elements / click / batch_commands / crashes / recording）和 Streamable HTTP + Bearer 模式，可以直接对照我们 agent-worker 的作业协议------MCP 化后，第三方 Agent 也能复用我们的设备池。
"a11y 树优先、截图兜底"应成为默认策略 ：Mobile MCP/Mobilerun 的数据证明这是成本与成功率的最优解；纯视觉只对游戏/自绘 UI 开启（对应 Mobilerun --vision-only）。
测试框架的答案是混合模式：e2e 的"自然语言操作步骤 + 确定性断言 + 首跑录制、界面变更才重新调模型"是目前最聪明的成本/稳定性设计，和我们用例平台里"AI 生成、确认后转脚本"的思路一致，值得在 HttpRunner/Playwright 执行器上实现同样的 relay 缓存。
物理层通道补位：BlueHIDFlow 提示了高端机/金融 App 测试的硬件路线，且 MQTT 命令协议天然适合纳入 CaseBridge 的设备执行端；Phone Harness 的 iPhone Mirroring 路线则提供了"无签名、无越狱"操控 iOS 真机的低成本选项，可作为 agent-device 之外的补充通道评估。
评测先行：AndroidWorld 的任务可验证性设计（状态断言而非"看起来完成"）值得抄进我们的 agent-eval 平台的用例评分模型。

七、数据说明与风险提示

所有 star 数、语言、license、更新时间取自 2026-10-23 当日 GitHub API，star 数增长很快，引用时建议复核。
多数新项目处于 pre-1.0 / 单人维护状态（Phone Harness、BlueHIDFlow、AppClaw 等），生产选型前务必实测目标机型与 App。
lamda、Phone Harness Cloud 等具备群控/真实号码/反检测属性的能力，仅限在自有设备、已获授权的测试与安全研究场景使用；绕过 App 风控可能违反服务条款甚至法律。
Mobile MCP、e2e、Mobilerun、Midscene 默认存在匿名遥测，均可通过环境变量关闭，内网部署时注意检查。