肉包 Roubao:首款无需电脑的开源 AI 手机自动化助手

项目背景:2025 年 12 月,字节跳动联合中兴发布了「豆包手机助手」,可自动操作手机完成复杂任务。但首批工程机一机难求,二手市场价格居高不下。

于是有了「肉包」 ------ 一个完全开源、基于视觉语言模型(VLM)的 AI 手机自动化助手。

名字来源很简单:作者不爱吃素。


一、项目亮点

  • 无需电脑:完全摆脱 ADB 数据线与 PC 端 Python 环境,安装 App 即可使用。
  • 原生 Android 实现:基于 Kotlin 开发,截图、分析、决策、执行全部在手机本地完成。
  • 多 Agent 协作机制:借鉴 Claude Code 的设计思想,采用 Tools / Skills 双层架构,实现任务规划与执行解耦。
  • 高度可定制:支持通义千问、GPT-4V、Claude 以及本地 Ollama 等多种模型后端。

二、方案对比

特性 肉包(Roubao) 豆包手机助手 其他开源方案
是否需要电脑 ❌ 不需要 ❌ 不需要 ✅ 多数需要
是否依赖专用硬件 ❌ 不需要 ✅ 需要(3499+) ❌ 不需要
实现语言 ✅ Kotlin(原生) ✅ 原生 ❌ 多为 Python
是否开源 ✅ MIT ❌ 闭源 ✅ 开源
架构设计 ✅ Tools / Skills 双层 ❓ 未公开 ❌ 通常无明确分层
自定义模型 ✅ 支持 ❌ 仅豆包模型 ⚠️ 部分支持

三、整体技术架构

肉包的核心设计理念,是将复杂的 GUI 自动化过程拆解为两个正交维度:

  • 原子能力(How):系统可以"做什么"
  • 用户意图(What):用户"想要什么"

3.1 Tools 层:原子能力集合

Tools 层负责执行最底层、可复用的物理或系统操作,包括但不限于:

  • search_apps:智能搜索已安装应用(支持拼音与语义匹配)。
  • deep_link:通过协议直接跳转到 App 内指定页面。
  • shell / http:执行系统命令或调用外部 HTTP API。
  • screenshot / tap / swipe:基础屏幕采集与触控操作能力。

这些工具本身不具备"目标感",只负责可靠执行。

3.2 Skills 层:用户意图封装

Skills 层面向最终用户,负责将自然语言意图映射为可执行策略,支持两种核心模式:

  • Delegation(委托模式)

    直接通过 DeepLink 调用本身具备 AI 能力的应用(如小美、即梦等),特点是速度快、路径短、成功率高

  • GUI 自动化模式

    面向普通应用,采用"截图 → 分析 → 操作 → 再截图"的闭环,由 Agent 逐步完成任务。


四、界面与交互展示

肉包采用 Material 3 设计规范,整体风格简洁现代,支持流畅动画与完整的中英文双语切换。


五、关键依赖:为什么需要 Shizuku?

出于系统安全考虑,Android 普通应用默认无法:

  • 模拟其他应用的点击操作
  • 读取或分析其他应用的界面内容

传统解决方案通常依赖 电脑端 ADB,这与"随时随地自动化"的目标相悖。

Shizuku 提供了一种优雅且合规的中间方案:

  1. 用户仅需通过无线调试启动一次 Shizuku 服务;
  2. 肉包即可在非 Root 情况下获得 ADB 级别能力
  3. 所有敏感信息(如 API Key)均采用 AES-256-GCM 加密存储;
  4. 一旦检测到支付类页面,系统会自动中止操作,避免风险。

六、快速上手

6.1 前置条件

  • Android 8.0 及以上设备
  • 已安装并启动 Shizuku
  • 一个可用的 VLM API Key(国内用户推荐使用阿里云百炼)

6.2 使用示例

直接对肉包输入自然语言指令,例如:

  • "帮我点个附近好吃的汉堡"
  • "打开网易云音乐并播放每日推荐"
  • "把我手机里最后一张照片发到微博"

七、项目路线图

已完成(v1.x)

  • 原生 Kotlin 核心框架
  • 智能应用分类与语义搜索
  • Delegation 快速路径支持

开发中(v2.0)

  • 无障碍服务混合模式(索引点击与坐标点击自动切换)
  • UI 树感知能力,减少纯视觉分析带来的误判
  • 宏脚本系统,支持操作序列的录制与回放

长期规划

  • 多应用协作,跨 App 联动完成复杂工作流
  • 边缘侧 AI,支持本地运行轻量级 VLM,实现离线自动化

八、开发者指南

如需自行构建与安装:

bash 复制代码
# 克隆仓库
git clone https://github.com/Turbo1123/roubao.git
cd roubao

# 构建并安装
./gradlew assembleDebug
./gradlew installDebug

项目地址https://github.com/Turbo1123/roubao

相关推荐
之歆13 小时前
Spring AI入门到实战到原理源码-MCP
java·人工智能·spring
知乎的哥廷根数学学派13 小时前
面向可信机械故障诊断的自适应置信度惩罚深度校准算法(Pytorch)
人工智能·pytorch·python·深度学习·算法·机器学习·矩阵
且去填词13 小时前
DeepSeek :基于 Schema 推理与自愈机制的智能 ETL
数据仓库·人工智能·python·语言模型·etl·schema·deepseek
待续30113 小时前
订阅了 Qoder 之后,我想通过这篇文章分享一些个人使用心得和感受。
人工智能
weixin_3975780213 小时前
人工智能发展历史
人工智能
强盛小灵通专卖员13 小时前
基于深度学习的山体滑坡检测科研辅导:从论文实验到系统落地的完整思路
人工智能·深度学习·sci·小论文·山体滑坡
OidEncoder13 小时前
从 “粗放清扫” 到 “毫米级作业”,编码器重塑环卫机器人新能力
人工智能·自动化·智慧城市
猫头虎14 小时前
如何在浏览器里体验 Windows在线模拟器:2026最新在线windows模拟器资源合集与技术揭秘
运维·网络·windows·系统架构·开源·运维开发·开源软件
Hcoco_me14 小时前
大模型面试题61:Flash Attention中online softmax(在线softmax)的实现方式
人工智能·深度学习·自然语言处理·transformer·vllm
阿部多瑞 ABU14 小时前
`chenmo` —— 可编程元叙事引擎 V2.3+
linux·人工智能·python·ai写作