Midscene初体验

使用 Android Playground 快速体验

通过使用 Midscene.js Android 设备,你可以快速在 Android 设备上体验 Midscene 的主要功能,而无需编写任何代码。

该 Playground 和 @midscene/android 包共享一份代码,因此你可以将其视为 Midscene Android SDK 的一个 Playground 或调试工具。

准备工作

安装 Node.js

安装 Node.js 18 或以上版本。

准备 API Key

准备一个视觉语言(VL)模型的 API Key。

你可以在 选择 AI 模型 文档中查看 Midscene.js 支持的模型和配置。

安装 adb

adb 是一个命令行工具,允许你与 Android 设备通信。有两种安装 adb 的方法:

验证 adb 是否安装成功:

bash 复制代码
adb --version

当你看到以下输出时,表示 adb 安装成功:

log 复制代码
Android Debug Bridge version 1.0.41
Version 34.0.4-10411341
Installed as /usr/local/bin//adb
Running on Darwin 24.3.0 (arm64) 

设置环境 ANDROID_HOME 变量

参考Android 环境变量,设置环境变量 ANDROID_HOME。

验证 ANDROID_HOME 变量是否设置成功:

bash 复制代码
echo $ANDROID_HOME

当上述命令有输出时,表示 ANDROID_HOME 变量设置成功:

log 复制代码
/Users/your_username/Library/Android/sdk

连接 Android 设备

在 Android 设备的开发者选项中,启用 'USB 调试',如果存在 'USB 调试(安全设置)',也启用它,然后使用 USB 线连接 Android 设备。

验证连接:

bash 复制代码
adb devices -l

当看到以下输出时,表示连接成功:

log 复制代码
List of devices attached
s4ey59	device usb:34603008X product:cezanne model:M2006J device:cezan transport_id:3

启动 Playground

bash 复制代码
npx --yes @midscene/android-playground

遇到报错:Failed to start servers: Error: The OPENAI_API_KEY must be a non-empty string, but got: undefined. Please check your config. 则在终端输入以下四个命令,注意MIDSCENE_MODEL_NAME,MIDSCENE_USE_QWEN_VL一定要指定,然后再输入启动命令即可。

这里卡住很久,所以遇到问题还是要看官方文档啊!

js 复制代码
~ % export OPENAI_BASE_URL="https://dashscope.aliyuncs.com/compatible-mode/v1"
~ % export MIDSCENE_MODEL_NAME="qwen-vl-max-latest"
~ % export MIDSCENE_USE_QWEN_VL=1
~ % export OPENAI_API_KEY="sk-6643xxxxxxxxxxxxxxxxxxx9bdd"

配置 API Key

点击齿轮按钮,进入配置页面:

参考 配置模型和服务商 文档,配置 API Key。

开始体验

配置完成后,你可以立即开始使用 Midscene。它一共有三个关键操作 Tab:

  • Action: 与网页进行交互,这就是所谓的自动规划(Auto Planning)。比如

    在搜索框中输入 Midscene
    点击登录按钮

  • Query: 从界面中提取 JSON 数据

bash 复制代码
提取页面中的用户 ID,返回 \{ id: string \}
  • Assert: 验证页面

    页面标题是 Midscene

  • Tap: 在某个元素上点击,这就是所谓的即时操作(Instant Action)。

    登录按钮

快来试试吧!

关于自动规划(Auto Planning)和即时操作(Instant Action)的区别,请参考 API 文档。

想将 Midscene 集成到代码?

插件体验结束后,你可能想将 Midscene 集成到代码中。这里有几种不同集成形式的文档:

相关推荐
狂师1 天前
太强了!三周冲到8.6k+ Star,免Root 免电脑,Mika 在后台替你操作所有App
github·agent·测试
ClouGence2 天前
复杂后台流程怎么做自动化测试?零代码方案实战分享
测试
WangYu3 天前
测试进阶路线:从手工点点点到质量体系,这一张图讲透
测试
狂师3 天前
牛逼!谷歌亲自下场开源的AI自动化神器!
人工智能·开源·测试
ClouGence4 天前
自动化测试定位不到元素怎么办?
selenium·低代码·测试
Trae_陈冀8 天前
写测试用例总漏场景还格式乱?我做了个自动生成工具,需求一键转标准用例
agent·测试
初学AI的小高8 天前
Agent 评测驱动开发:用 pytest 测试工具调用与执行轨迹
agent·测试