Midscene初体验 - 技术栈

使用 Android Playground 快速体验

通过使用 Midscene.js Android 设备，你可以快速在 Android 设备上体验 Midscene 的主要功能，而无需编写任何代码。

该 Playground 和 @midscene/android 包共享一份代码，因此你可以将其视为 Midscene Android SDK 的一个 Playground 或调试工具。

准备工作

安装 Node.js

安装 Node.js 18 或以上版本。

准备 API Key

准备一个视觉语言（VL）模型的 API Key。

你可以在选择 AI 模型文档中查看 Midscene.js 支持的模型和配置。

安装 adb

adb 是一个命令行工具，允许你与 Android 设备通信。有两种安装 adb 的方法：

方法 1：使用 Android Studio 安装
方法 2：使用 Android 命令行工具安装

验证 adb 是否安装成功：

bash 复制代码

adb --version

当你看到以下输出时，表示 adb 安装成功：

log 复制代码

Android Debug Bridge version 1.0.41
Version 34.0.4-10411341
Installed as /usr/local/bin//adb
Running on Darwin 24.3.0 (arm64)

设置环境 ANDROID_HOME 变量

参考Android 环境变量，设置环境变量 ANDROID_HOME。

验证 ANDROID_HOME 变量是否设置成功：

bash 复制代码

echo $ANDROID_HOME

当上述命令有输出时，表示 ANDROID_HOME 变量设置成功：

log 复制代码

/Users/your_username/Library/Android/sdk

连接 Android 设备

在 Android 设备的开发者选项中，启用 'USB 调试'，如果存在 'USB 调试（安全设置）'，也启用它，然后使用 USB 线连接 Android 设备。

验证连接：

bash 复制代码

adb devices -l

当看到以下输出时，表示连接成功：

log 复制代码

List of devices attached
s4ey59	device usb:34603008X product:cezanne model:M2006J device:cezan transport_id:3

启动 Playground

bash 复制代码

npx --yes @midscene/android-playground

遇到报错：Failed to start servers: Error: The OPENAI_API_KEY must be a non-empty string, but got: undefined. Please check your config. 则在终端输入以下四个命令，注意MIDSCENE_MODEL_NAME，MIDSCENE_USE_QWEN_VL一定要指定，然后再输入启动命令即可。

这里卡住很久，所以遇到问题还是要看官方文档啊！

js 复制代码

~ % export OPENAI_BASE_URL="https://dashscope.aliyuncs.com/compatible-mode/v1"
~ % export MIDSCENE_MODEL_NAME="qwen-vl-max-latest"
~ % export MIDSCENE_USE_QWEN_VL=1
~ % export OPENAI_API_KEY="sk-6643xxxxxxxxxxxxxxxxxxx9bdd"

配置 API Key

点击齿轮按钮，进入配置页面：

参考配置模型和服务商文档，配置 API Key。

开始体验

配置完成后，你可以立即开始使用 Midscene。它一共有三个关键操作 Tab：

Action: 与网页进行交互，这就是所谓的自动规划（Auto Planning）。比如

在搜索框中输入 Midscene
点击登录按钮
Query: 从界面中提取 JSON 数据

bash 复制代码

提取页面中的用户 ID，返回 \{ id: string \}

Assert: 验证页面

页面标题是 Midscene
Tap: 在某个元素上点击，这就是所谓的即时操作（Instant Action）。

登录按钮

快来试试吧！

关于自动规划（Auto Planning）和即时操作（Instant Action）的区别，请参考 API 文档。

想将 Midscene 集成到代码？

插件体验结束后，你可能想将 Midscene 集成到代码中。这里有几种不同集成形式的文档：