肉包 Roubao:首款无需电脑的开源 AI 手机自动化助手

项目背景:2025 年 12 月,字节跳动联合中兴发布了「豆包手机助手」,可自动操作手机完成复杂任务。但首批工程机一机难求,二手市场价格居高不下。

于是有了「肉包」 ------ 一个完全开源、基于视觉语言模型(VLM)的 AI 手机自动化助手。

名字来源很简单:作者不爱吃素。


一、项目亮点

  • 无需电脑:完全摆脱 ADB 数据线与 PC 端 Python 环境,安装 App 即可使用。
  • 原生 Android 实现:基于 Kotlin 开发,截图、分析、决策、执行全部在手机本地完成。
  • 多 Agent 协作机制:借鉴 Claude Code 的设计思想,采用 Tools / Skills 双层架构,实现任务规划与执行解耦。
  • 高度可定制:支持通义千问、GPT-4V、Claude 以及本地 Ollama 等多种模型后端。

二、方案对比

特性 肉包(Roubao) 豆包手机助手 其他开源方案
是否需要电脑 ❌ 不需要 ❌ 不需要 ✅ 多数需要
是否依赖专用硬件 ❌ 不需要 ✅ 需要(3499+) ❌ 不需要
实现语言 ✅ Kotlin(原生) ✅ 原生 ❌ 多为 Python
是否开源 ✅ MIT ❌ 闭源 ✅ 开源
架构设计 ✅ Tools / Skills 双层 ❓ 未公开 ❌ 通常无明确分层
自定义模型 ✅ 支持 ❌ 仅豆包模型 ⚠️ 部分支持

三、整体技术架构

肉包的核心设计理念,是将复杂的 GUI 自动化过程拆解为两个正交维度:

  • 原子能力(How):系统可以"做什么"
  • 用户意图(What):用户"想要什么"

3.1 Tools 层:原子能力集合

Tools 层负责执行最底层、可复用的物理或系统操作,包括但不限于:

  • search_apps:智能搜索已安装应用(支持拼音与语义匹配)。
  • deep_link:通过协议直接跳转到 App 内指定页面。
  • shell / http:执行系统命令或调用外部 HTTP API。
  • screenshot / tap / swipe:基础屏幕采集与触控操作能力。

这些工具本身不具备"目标感",只负责可靠执行。

3.2 Skills 层:用户意图封装

Skills 层面向最终用户,负责将自然语言意图映射为可执行策略,支持两种核心模式:

  • Delegation(委托模式)

    直接通过 DeepLink 调用本身具备 AI 能力的应用(如小美、即梦等),特点是速度快、路径短、成功率高

  • GUI 自动化模式

    面向普通应用,采用"截图 → 分析 → 操作 → 再截图"的闭环,由 Agent 逐步完成任务。


四、界面与交互展示

肉包采用 Material 3 设计规范,整体风格简洁现代,支持流畅动画与完整的中英文双语切换。


五、关键依赖:为什么需要 Shizuku?

出于系统安全考虑,Android 普通应用默认无法:

  • 模拟其他应用的点击操作
  • 读取或分析其他应用的界面内容

传统解决方案通常依赖 电脑端 ADB,这与"随时随地自动化"的目标相悖。

Shizuku 提供了一种优雅且合规的中间方案:

  1. 用户仅需通过无线调试启动一次 Shizuku 服务;
  2. 肉包即可在非 Root 情况下获得 ADB 级别能力
  3. 所有敏感信息(如 API Key)均采用 AES-256-GCM 加密存储;
  4. 一旦检测到支付类页面,系统会自动中止操作,避免风险。

六、快速上手

6.1 前置条件

  • Android 8.0 及以上设备
  • 已安装并启动 Shizuku
  • 一个可用的 VLM API Key(国内用户推荐使用阿里云百炼)

6.2 使用示例

直接对肉包输入自然语言指令,例如:

  • "帮我点个附近好吃的汉堡"
  • "打开网易云音乐并播放每日推荐"
  • "把我手机里最后一张照片发到微博"

七、项目路线图

已完成(v1.x)

  • 原生 Kotlin 核心框架
  • 智能应用分类与语义搜索
  • Delegation 快速路径支持

开发中(v2.0)

  • 无障碍服务混合模式(索引点击与坐标点击自动切换)
  • UI 树感知能力,减少纯视觉分析带来的误判
  • 宏脚本系统,支持操作序列的录制与回放

长期规划

  • 多应用协作,跨 App 联动完成复杂工作流
  • 边缘侧 AI,支持本地运行轻量级 VLM,实现离线自动化

八、开发者指南

如需自行构建与安装:

bash 复制代码
# 克隆仓库
git clone https://github.com/Turbo1123/roubao.git
cd roubao

# 构建并安装
./gradlew assembleDebug
./gradlew installDebug

项目地址https://github.com/Turbo1123/roubao

相关推荐
Xzaveir9 分钟前
别把所有“认证”都塞进 AuthService:实名、一键登录与号码身份的领域拆分
android·人工智能
BerrySen17820 分钟前
KMP全栈开发:从Android到AI Agent的技术演进与实践
android·人工智能
战族狼魂25 分钟前
高频面试题精选:分治与AI Agent架构
人工智能·算法·大模型·大语言模型
zSD55rt5a1 小时前
方差在扩散模型保护中的作用
人工智能·harmonyos
人生百态,人生如梦2 小时前
情感交互仿生人从技术到落地构想3——技术交流贴(2026.7)
人工智能·机器学习·人机交互·交互·具身智能
用户652238438112 小时前
为什么成熟的 LLM 应用,都把"后端地址"做成可切换的配置
人工智能
Aa99883342 小时前
AI视觉检测设备厂家的技术评估框架——以及AI视觉检测的检出边界与适用条件
人工智能
wuhanzhanhui2 小时前
当AI遇见储能!2026武汉国际数字能源产业与新型电力及储能技术展览会
人工智能·能源
邪恶粑粑柑2 小时前
2026 四款云手机风控防护横评 桃心云分层隔离防关联功能深度实测
智能手机