GELab-Zero：阶跃开源的4B端侧多模态GUI Agent模型，助力本地可控的移动设备智能化

GELab-Zero作为阶跃星辰团队开源的GUI Agent模型，凭借其本地可部署、轻量化设计、一键多终端部署等核心功能，以及在多个基准测试中的优异表现，为移动设备的自动化交互和任务执行提供了一个强大的解决方案。

在人工智能技术飞速发展的当下，移动设备的智能化交互成为了一个备受关注的领域。然而，由于移动生态的高度碎片化，开发者在实现GUI Agent功能时面临着诸多工程挑战。为了突破这些限制，阶跃星辰团队开源了GELab-Zero项目，旨在为开发者提供一个完整的、本地可控的GUI Agent解决方案。

一、项目概述

GELab-Zero是由阶跃星辰团队开源的端侧多模态GUI Agent模型，基于Qwen3-VL-4B-Instruct基座模型构建，参数量为4B。它专注于移动设备的自动化交互和任务执行，具备本地可部署能力，支持在消费级硬件上运行，确保低延迟和隐私保护。该模型能够识别UI元素并执行点击、滑动等操作，支持跨应用任务处理，如外卖、出行等场景，还具备零样本适应能力，可适配未见过的App。其核心使命是降低Agent开发者的实验门槛，推动Mobile Agent的规模化落地。

二、核心功能

（一）本地部署与隐私保护

支持本地运行，无需依赖云端，确保数据隐私和低延迟操作。
提供完整的推理基础设施，可完全在本地运行，用户拥有完全的隐私控制权。

（二）轻量化设计

优化的4B模型可在消费级硬件上高效运行，平衡性能与资源消耗。
支持轻量级本地推理，兼顾低延迟与隐私。

（三）一键部署

提供完整的部署流程，自动处理环境依赖和设备管理，简化使用门槛。
提供统一部署流水线，实现"一键启动式"的推理基础设施。

（四）多设备支持

支持多设备连接和任务分发，便于在不同设备上进行任务操作。
支持多设备任务分发，可将任务并行分发到多台手机上执行。

（五）多模态交互

支持多种交互模式，如ReAct闭环、多智能体协作和定时任务，适应复杂场景。
支持多种Agent模式，包括ReAct模式、多智能体模式以及定时任务模式。

（六）动态任务编排

支持任务的分布式执行和交互轨迹记录，便于任务管理和复现。

（七）通用GUI理解

能识别和操作各种移动应用界面，无需应用开发者适配。
提供通用GUI理解能力，适用于复杂的移动生态。

（八）企业级应用支持

企业用户可直接复用基础设施，快速集成到产品业务中。

三、技术揭秘

（一）本地化部署与隐私保护

GELab-Zero采用本地部署方式，所有数据处理均在本地完成，避免了云端交互，从而实现了隐私保护和低延迟响应。这种设计对于需要在本地环境运行的企业团队以及关注隐私保护的用户来说非常友好。

（二）轻量化模型设计

为了使模型能够在消费级硬件上高效运行，GELab-Zero对模型结构进行了优化，降低了资源消耗，同时保持了较高的推理速度和性能。这种轻量化设计使得模型可以在多种设备上快速部署和运行。

（三）即插即用的工程基建

GELab-Zero提供了一套即插即用的推理基础设施，能够自动处理多设备连接、依赖安装、权限配置等复杂工程问题。这大大降低了开发者在工程基建方面的投入，使他们能够专注于策略创新和交互流程验证。

（四）多模态交互能力

GELab-Zero支持多种交互模式，包括ReAct闭环、多智能体协作和定时任务执行。这种多模态交互能力使其能够适应不同场景下的复杂任务需求，为用户提供更加智能和高效的交互体验。

（五）动态任务编排与回放

通过分布式任务编排，GELab-Zero可以将任务分配到多个设备上执行，并记录交互轨迹。这些轨迹数据对于后续的观测、分析以及复现智能体行为至关重要，研究人员可以通过回放这些轨迹，精准定位模型在某一步操作上的失误，从而进行针对性的优化。

（六）强化学习与自适应推理

GELab-Zero利用强化学习机制，使Agent能够根据环境反馈动态调整策略，优化任务执行路径，提升交互效率。

（七）通用GUI理解与操作

GELab-Zero具备强大的GUI理解能力，能够识别和操作各种移动应用界面，无需应用开发者进行额外适配。这使得模型具有广泛的通用性，可以快速应用于不同的移动应用环境。

四、基准评测

（一）AndroidDaily基准测试

GELab-Zero在自建的AndroidDaily基准测试中表现出色，其静态测试准确率高达73.4%，这一成绩远超同类其他模型。AndroidDaily基准测试涵盖了出行交通、购物消费、社交通讯、内容消费、本地服务等多个真实移动场景任务，充分证明了GELab-Zero在移动GUI理解和操作方面的领先地位。

（二）其他开源基准测试

GELab-Zero在ScreenSpot、OSWorld、MMBench、AndroidWorld等多个开源基准测试中也进行了全面评估。这些基准测试从GUI理解、定位、交互等多个维度对模型进行了衡量。结果显示，GELab-Zero在多项开源基准测试中超越其他主流模型，拿下同尺寸SOTA。值得注意的是，GELab-Zero的表现还超越了参数量更大的GUI-Owl-32B等模型，在性能和部署便捷性方面具有明显优势。

五、应用场景

（一）移动设备自动化任务执行

GELab-Zero可以在手机等移动设备上自动完成各种任务，如应用操作、信息查询等。例如，它可以基于用户的指令自主完成外卖点餐、打车服务、查询交通信息等任务。

（二）企业级应用集成

企业用户可以将GELab-Zero的GUI Agent能力快速集成到业务系统中，提升自动化水平。例如，企业可以在内部福利平台上使用GELab-Zero自动完成餐补申请等任务。

（三）复杂任务处理

GELab-Zero支持多步骤、多条件的复杂任务处理。例如，它可以在电商平台上完成复杂的购物任务，涉及多种商品的购买；还可以在知识分享平台上根据用户指定的条件筛选高质量内容。

（四）家庭与个人生活助手

GELab-Zero可以帮助用户完成日常任务，如推荐电影、查询适合家庭出游的地方等。它能够根据用户的主观需求，如"经典电影"、"适合遛娃的地方"，自行判断执行标准并顺利完成任务。

（五）教育与学习辅助

在教育类应用中，GELab-Zero可以辅助完成学习任务，如在线课程学习、作业提交等。例如，它可以帮助用户在学习平台上完成词汇学习任务。

（六）生活服务应用

GELab-Zero在生活服务类应用中提供自动化服务，如外卖点餐、打车服务等。它能够根据用户的指令，自动查询相关信息并完成相应的服务请求。

六、快速使用

（一）环境准备

硬件环境：需要一台消费级计算机，具备足够的内存和处理能力来运行4B模型。
软件环境：安装Python 3.12+环境，并确保系统中安装了必要的依赖包。

（二）安装与部署

克隆GELab-Zero的GitHub仓库：

git clone https://github.com/stepfun-ai/gelab-zero
cd gelab-zero
安装依赖：

pip install -r requirements.txt
配置ADB环境，连接移动设备。确保移动设备已开启开发者模式和USB调试功能，并使用ADB工具连接设备。

（三）模型加载

下载GELab-Zero-4B-preview模型：

pip install huggingface_hub
huggingface-cli download --resume-download stepfun-ai/GELab-Zero-4B-preview --local-dir gelab-zero-4b-preview
将模型导入到Ollama：

cd gelab-zero-4b-preview
ollama create gelab-zero-4b-preview -f Modelfile

（四）任务执行

编写任务脚本，定义任务的输入和预期输出。
运行任务执行脚本：

python examples/run_single_task.py

该脚本将调用GELab-Zero模型，根据任务脚本中的定义，在移动设备上自动执行任务。

（五）结果查看

任务执行完成后，可以在指定的目录中查看任务的执行结果。GELab-Zero会记录任务的交互轨迹，包括每一步的操作和结果。这些记录可以帮助用户了解模型的行为和性能。

七、结语

GELab-Zero作为阶跃星辰团队开源的GUI Agent模型，凭借其本地可部署、轻量化设计、一键多终端部署等核心功能，以及在多个基准测试中的优异表现，为移动设备的自动化交互和任务执行提供了一个强大的解决方案。它不仅能够满足个人用户在日常生活中的各种需求，还为企业用户提供了快速集成GUI Agent能力的基础设施。