5分钟快速体验Midscene.js(Node环境、Playwright)

5分钟快速体验Midscene.js

什么是Midscene.js

Midscene.js 是一款 AI 驱动的 UI 自动化工具,核心定位是通过人工智能简化网页 / UI 交互、数据提取与结果验证的流程,让开发者无需复杂编码即可实现自动化操作,同时支持灵活集成与高效调试,适用于网页自动化测试、数据爬取、重复操作脚本编写等场景。

环境准备

  1. 创建项目目录
bash 复制代码
mkdir demos-for-midsence.js && cd demos-for-midsence.js
  1. 本次通过集成Playwright方式体验,安装依赖
bash 复制代码
# 想用哪个用哪个
npm install @midscene/web playwright @playwright/test dotenv tsx --save-dev
pnpm add @midscene/web playwright @playwright/test dotenv tsx --save-dev
yarn add @midscene/web playwright @playwright/test dotenv tsx --save-dev

编写demo

  1. 引用 dotenv 库配置环境变量
    Midscene.js会调用模型,所以需要从环境变量读取模型信息。由于Midscene.js是视觉模型驱动的,所以需要配置视觉模型,本示例使用阿里百炼的qwen2.5-vl。已在上一步依赖安装时引入了dotenv,现在在项目的根目录下创建一个.env文件,并配置以下内容:
bash 复制代码
# .env
MIDSCENE_MODEL_BASE_URL="https://dashscope.aliyuncs.com/compatible-mode/v1"
MIDSCENE_MODEL_API_KEY="你的APIKEY"
MIDSCENE_MODEL_NAME="qwen-vl-max-latest"
MIDSCENE_MODEL_FAMILY="qwen2.5-vl"
  1. 编写脚本
    在项目根目录下创建一个demo.ts
typescript 复制代码
import { chromium } from 'playwright';
import { PlaywrightAgent } from '@midscene/web/playwright';
import 'dotenv/config';

const sleep = (ms: number) => new Promise((r) => setTimeout(r, ms));

Promise.resolve(
  (async () => {
    const browser = await chromium.launch({
      headless: true, 
      args: ['--no-sandbox', '--disable-setuid-sandbox'],
    });

    const page = await browser.newPage();
    await page.setViewportSize({
      width: 1280,
      height: 768,
    });
    await page.goto('https://www.bilibili.com');
    await sleep(1000);
    const agent = new PlaywrightAgent(page);

    await agent.aiAct('搜索框输入 "欧洲十大最佳旅行目的地", 回车');

    await agent.aiWaitFor('页面上至少1个搜索结果');

    const items = await agent.aiQuery(
      '{itemTitle: string, author: string}[], 在搜索结果的第一页中查找标题及其对应的作者',
    );
    console.log('输出结果', items);
    await browser.close();
  })(),
);

运行

bash 复制代码
npx tsx demo.ts

运行完成后项目目录下生成midscene_run文件夹,报告则位于midscene_run/report下的html

相关推荐
布莱克6055 小时前
Swift 类详解:从定义、继承到内存管理的完整指南
服务器·开发语言·ios·ssh·swift·类
是main不是漫5 小时前
【快慢指针 | LeetCode202 快乐数】鸽巢原理佐证环特性,快慢指针巧解快乐数
c语言·开发语言·c++·算法
布莱克6057 小时前
Swift 方法详解:实例方法、类型方法与 mutating 机制
服务器·开发语言·ios·ssh·swift·方法
Risehuxyc9 小时前
PHP能不能在参数里放匿名函数
开发语言·php
码云社区9 小时前
Java家政服务系统源码:人员技能、服务范围与多商家业务落地
java·开发语言·家政服务·家政小程序·家政系统
FRing039 小时前
vue3干货总结3(defineOptions(Vue3.3)、defineModel(Vue3.4)、Pinia)
开发语言·前端·vue.js·vue3
whitelbwwww11 小时前
CUDA C++实战--中级
开发语言·前端·c++
FungLeo11 小时前
FengCMS · PHP+MySQL 升级实录 · 内容写入一致性:锁等待超时与跨模型子树删除竞态
开发语言·mysql·php·工程实践·fengcms
inksci11 小时前
用飞帆做了个小网页
前端·javascript·css·html
zhensherlock12 小时前
Protocol Launcher 系列:CodeHub 移动端 GitHub 协作利器
前端·javascript·typescript·node.js·自动化·github·js