Midscene初体验

使用 Android Playground 快速体验

通过使用 Midscene.js Android 设备,你可以快速在 Android 设备上体验 Midscene 的主要功能,而无需编写任何代码。

该 Playground 和 @midscene/android 包共享一份代码,因此你可以将其视为 Midscene Android SDK 的一个 Playground 或调试工具。

准备工作

安装 Node.js

安装 Node.js 18 或以上版本

准备 API Key

准备一个视觉语言(VL)模型的 API Key。

你可以在 选择 AI 模型 文档中查看 Midscene.js 支持的模型和配置。

安装 adb

adb 是一个命令行工具,允许你与 Android 设备通信。有两种安装 adb 的方法:

验证 adb 是否安装成功:

bash 复制代码
adb --version

当你看到以下输出时,表示 adb 安装成功:

log 复制代码
Android Debug Bridge version 1.0.41
Version 34.0.4-10411341
Installed as /usr/local/bin//adb
Running on Darwin 24.3.0 (arm64) 

设置环境 ANDROID_HOME 变量

参考Android 环境变量,设置环境变量 ANDROID_HOME

验证 ANDROID_HOME 变量是否设置成功:

bash 复制代码
echo $ANDROID_HOME

当上述命令有输出时,表示 ANDROID_HOME 变量设置成功:

log 复制代码
/Users/your_username/Library/Android/sdk

连接 Android 设备

在 Android 设备的开发者选项中,启用 'USB 调试',如果存在 'USB 调试(安全设置)',也启用它,然后使用 USB 线连接 Android 设备。

验证连接:

bash 复制代码
adb devices -l

当看到以下输出时,表示连接成功:

log 复制代码
List of devices attached
s4ey59	device usb:34603008X product:cezanne model:M2006J device:cezan transport_id:3

启动 Playground

bash 复制代码
npx --yes @midscene/android-playground

遇到报错:Failed to start servers: Error: The OPENAI_API_KEY must be a non-empty string, but got: undefined. Please check your config. 则在终端输入以下四个命令,注意MIDSCENE_MODEL_NAME,MIDSCENE_USE_QWEN_VL一定要指定,然后再输入启动命令即可。

这里卡住很久,所以遇到问题还是要看官方文档啊!

js 复制代码
~ % export OPENAI_BASE_URL="https://dashscope.aliyuncs.com/compatible-mode/v1"
~ % export MIDSCENE_MODEL_NAME="qwen-vl-max-latest"
~ % export MIDSCENE_USE_QWEN_VL=1
~ % export OPENAI_API_KEY="sk-6643xxxxxxxxxxxxxxxxxxx9bdd"

配置 API Key

点击齿轮按钮,进入配置页面:

参考 配置模型和服务商 文档,配置 API Key。

开始体验

配置完成后,你可以立即开始使用 Midscene。它一共有三个关键操作 Tab:

  • Action: 与网页进行交互,这就是所谓的自动规划(Auto Planning)。比如

    在搜索框中输入 Midscene
    点击登录按钮

  • Query: 从界面中提取 JSON 数据

bash 复制代码
提取页面中的用户 ID,返回 \{ id: string \}
  • Assert: 验证页面

    页面标题是 Midscene

  • Tap: 在某个元素上点击,这就是所谓的即时操作(Instant Action)。

    登录按钮

快来试试吧!

关于自动规划(Auto Planning)和即时操作(Instant Action)的区别,请参考 API 文档。

想将 Midscene 集成到代码?

插件体验结束后,你可能想将 Midscene 集成到代码中。这里有几种不同集成形式的文档:

相关推荐
虫无涯1 天前
解锁 Playwright 自动化测试:一篇教程入门WebUI自动化测试【入门级】
python·单元测试·测试
程序员二黑2 天前
状态迁移与场景法:搞定复杂业务流测试的利器
面试·单元测试·测试
霍格沃兹_测试2 天前
测试脚本生成太慢?我用Dify+自然语言描述,效率提升了300%
测试
windliang5 天前
前端 AI 自动化测试:brower-use 调研
前端·agent·测试
往事随风去6 天前
那个让老板闭嘴、让性能翻倍的“黑科技”:基准测试最全指南
后端·测试
霍格沃兹_测试6 天前
测试效率卡点如何破?QA 双角色协作模式帮你提升效率和覆盖率
测试
WeilinerL7 天前
泛前端代码覆盖率探索之路
前端·javascript·测试
大话性能8 天前
MySQL 数据库的备份和恢复(Linux)
测试
大话性能8 天前
【Pycharm 必学技巧 02】智能补全,忽略大小写
测试
Xzh042310 天前
前后端学习的交界
java·ajax·maven·axios·测试