肉包 Roubao:首款无需电脑的开源 AI 手机自动化助手

项目背景:2025 年 12 月,字节跳动联合中兴发布了「豆包手机助手」,可自动操作手机完成复杂任务。但首批工程机一机难求,二手市场价格居高不下。

于是有了「肉包」 ------ 一个完全开源、基于视觉语言模型(VLM)的 AI 手机自动化助手。

名字来源很简单:作者不爱吃素。


一、项目亮点

  • 无需电脑:完全摆脱 ADB 数据线与 PC 端 Python 环境,安装 App 即可使用。
  • 原生 Android 实现:基于 Kotlin 开发,截图、分析、决策、执行全部在手机本地完成。
  • 多 Agent 协作机制:借鉴 Claude Code 的设计思想,采用 Tools / Skills 双层架构,实现任务规划与执行解耦。
  • 高度可定制:支持通义千问、GPT-4V、Claude 以及本地 Ollama 等多种模型后端。

二、方案对比

特性 肉包(Roubao) 豆包手机助手 其他开源方案
是否需要电脑 ❌ 不需要 ❌ 不需要 ✅ 多数需要
是否依赖专用硬件 ❌ 不需要 ✅ 需要(3499+) ❌ 不需要
实现语言 ✅ Kotlin(原生) ✅ 原生 ❌ 多为 Python
是否开源 ✅ MIT ❌ 闭源 ✅ 开源
架构设计 ✅ Tools / Skills 双层 ❓ 未公开 ❌ 通常无明确分层
自定义模型 ✅ 支持 ❌ 仅豆包模型 ⚠️ 部分支持

三、整体技术架构

肉包的核心设计理念,是将复杂的 GUI 自动化过程拆解为两个正交维度:

  • 原子能力(How):系统可以"做什么"
  • 用户意图(What):用户"想要什么"

3.1 Tools 层:原子能力集合

Tools 层负责执行最底层、可复用的物理或系统操作,包括但不限于:

  • search_apps:智能搜索已安装应用(支持拼音与语义匹配)。
  • deep_link:通过协议直接跳转到 App 内指定页面。
  • shell / http:执行系统命令或调用外部 HTTP API。
  • screenshot / tap / swipe:基础屏幕采集与触控操作能力。

这些工具本身不具备"目标感",只负责可靠执行。

3.2 Skills 层:用户意图封装

Skills 层面向最终用户,负责将自然语言意图映射为可执行策略,支持两种核心模式:

  • Delegation(委托模式)

    直接通过 DeepLink 调用本身具备 AI 能力的应用(如小美、即梦等),特点是速度快、路径短、成功率高

  • GUI 自动化模式

    面向普通应用,采用"截图 → 分析 → 操作 → 再截图"的闭环,由 Agent 逐步完成任务。


四、界面与交互展示

肉包采用 Material 3 设计规范,整体风格简洁现代,支持流畅动画与完整的中英文双语切换。


五、关键依赖:为什么需要 Shizuku?

出于系统安全考虑,Android 普通应用默认无法:

  • 模拟其他应用的点击操作
  • 读取或分析其他应用的界面内容

传统解决方案通常依赖 电脑端 ADB,这与"随时随地自动化"的目标相悖。

Shizuku 提供了一种优雅且合规的中间方案:

  1. 用户仅需通过无线调试启动一次 Shizuku 服务;
  2. 肉包即可在非 Root 情况下获得 ADB 级别能力
  3. 所有敏感信息(如 API Key)均采用 AES-256-GCM 加密存储;
  4. 一旦检测到支付类页面,系统会自动中止操作,避免风险。

六、快速上手

6.1 前置条件

  • Android 8.0 及以上设备
  • 已安装并启动 Shizuku
  • 一个可用的 VLM API Key(国内用户推荐使用阿里云百炼)

6.2 使用示例

直接对肉包输入自然语言指令,例如:

  • "帮我点个附近好吃的汉堡"
  • "打开网易云音乐并播放每日推荐"
  • "把我手机里最后一张照片发到微博"

七、项目路线图

已完成(v1.x)

  • 原生 Kotlin 核心框架
  • 智能应用分类与语义搜索
  • Delegation 快速路径支持

开发中(v2.0)

  • 无障碍服务混合模式(索引点击与坐标点击自动切换)
  • UI 树感知能力,减少纯视觉分析带来的误判
  • 宏脚本系统,支持操作序列的录制与回放

长期规划

  • 多应用协作,跨 App 联动完成复杂工作流
  • 边缘侧 AI,支持本地运行轻量级 VLM,实现离线自动化

八、开发者指南

如需自行构建与安装:

bash 复制代码
# 克隆仓库
git clone https://github.com/Turbo1123/roubao.git
cd roubao

# 构建并安装
./gradlew assembleDebug
./gradlew installDebug

项目地址https://github.com/Turbo1123/roubao

相关推荐
Erishen8 分钟前
🚀 用 React Three Fiber 造一个会说话的 3D 数字人:从密钥安全到 Serverless 10 秒极限的踩坑全记录
架构·开源·agent
学习星球20 分钟前
AI Agent 成本工程实战:从 OpenAI Codex 的 8 个“烧 Token“Bug 学起
人工智能·设计模式·微信小程序
一点一木2 小时前
🚀 2026 年 8 月 GitHub 十大热门项目排行榜 🔥
人工智能·github
ssshooter2 小时前
现在网页都能提供 MCP 了?!
前端·人工智能·程序员
京东云开发者3 小时前
Claude Code vs Codex 记忆体系深度对比
人工智能
不加辣椒4 小时前
第 4 章 什么是 Harness Engineering
人工智能
桃西西呀4 小时前
上下文窗口都卷到 100 万了,大模型为什么还在为"位置"发愁?
人工智能·llm·ai编程
阿拉斯攀登4 小时前
SpringBoot整合MQTT:后端订阅设备数据、解析传感器报文
人工智能
然我4 小时前
模型不是 Agent:从零实现一个最小 Agent Loop
前端·人工智能·agent
黄油面包4 小时前
Codex 额度三天见底后,我重新做了一周预算
前端·人工智能