OpenClaw如何通过js编程从浏览器提取数据

目前AI agent的编程能力越来越强,kimi 3用开源EDA工具48 小时自主完成芯片设计。

这里通过openclaw编辑&运行js脚本从浏览器提取数据示例,验证AI Agent编程执行任务的能力。

1 浏览器技能

这里首先让openclaw自主安装浏览器技能和工具。

由于预算原因,我们采用了qwen3.6,没有采用目前跟kimi3同级别的模型如qwen3.8。

1.1 浏览器技能安装

这里采用最直观方式,通过对话直接下达指令,告诉openclaw安装一个浏览器自动化技能。

提示示例如下

请帮我安装一个浏览器自动化技能。


以下是一些示例

Browser Skill:核心,提供浏览器操作能力

Scheduler Skill:定时执行

Web Search Skill:辅助信息获取

openclaw助手从 ClawHub 搜索并验证了几个候选。

经过安全性检查,最后只有 browser-automation-puppeteer 通过了安全扫描

成功安装到 ~/.openclaw/workspace/skills/browser-automation-puppeteer/

可以看到,openclaw不是直接安装,而是先搜索候选,进行安全检查。

最后发现只有browser-automation-puppeteer 满足,然后才安装该skill。

1.2 浏览器技能说明

我们进一步分析browser-automation-puppeteer 技能。

% ls ~/.openclaw/workspace/skills/browser-automation-puppeteer/


_meta.json LICENSE.txt README.md references scripts skill-card.md SKILL.md

browser-automation-puppeteer由多个文件组成,包含代码模板、调试指南等。

该技能可以让openclaw助手直接生成高质量的自动化测试或爬虫代码。

通过执行这些代码,openclaw可以获取到用户想要的数据。

为了能正确运行browser-automation-pupperteer,openclaw需要自主安装Puppeteer。

1.3 Puppeteer

Puppeteer 是由 Google Chrome 团队维护的 Node.js 库。

Puppeteer提供了一套高级 API,用JavaScript代码控制Chrome、Chromium或Firefox浏览器。

Puppeteer最常运行在无头模式下,即浏览器在后台运行,不显示图形界面,因此非常高效。

Puppeteer 能模拟几乎所有真实用户操作,主要应用在:

1)网页截图与 PDF 生成:将网页保存为图片或 PDF 文件。

2)网页爬虫与数据抓取:抓取传统工具无法获取的、由 JavaScript 动态渲染的内容。

3)自动化测试:对 Web 应用进行端到端(E2E)自动化测试。

4)自动化表单提交与 UI 交互:自动填写并提交表单、模拟点击、输入等操作。

5)性能分析:捕获网站的时间线追踪,分析页面性能。

2 浏览器抓取数据

2.1 打开特定页面

指示 openclaw 打开特定网页。

请用浏览器工具访问

https://finance.sina.com.cn/

如下所示,openclaw使用browser-automation-pupperteer工具打开了新浪财经主页。

可以看到openclaw并不是直接在前台打开浏览器。

而是后台打开页面,并通过编写&运行js脚本的方式获取数据。

2.2 编程提取数据

在打开页面后,尝试进一步提取数据,指令如下

请提取该页面排名前10的新闻标题、发布日期和作者姓名,并以 JSON 数组格式返回。

1)整体提取过程示例

openclaw进一步通过编写和运行js脚本,获取以上指令指定的信息。

2)tool运行代码示例

比对针对最开始的三次tools运行,其首次运行细节如下。

openclaw通过运行基于Puppeteer的js脚本,获取到浏览器页面的相关数据。

with show << -> run node, cat << 'SCRIPT' | node const puppeteer = require('puppeteer...lice(0, 5), null, 2)); } await browser.close(); })(); SCRIPT

3)JSON数组返回示例

前后5次tool调用,基于大模型的数据清理、重新提取、以及meta标签补全。

openclaw最终提取到排名前10新闻标题、发布日期和作者姓名,并以JSON数组格式返回。

{ "title": "人事巨震 谷歌AI何去何从", "date": "2026年08月07日 07:00", "author": "21世纪经济报道" }, { "title": "黄金多空博弈 金价走势尚未明朗", "date": "2026年08月07日 02:45", "author": "上海证券报" }, { "title": "铂、钯期价继续走高,趋势反转了?", "date": "2026年08月07日 07:29", "author": "市场资讯" }, { "title": "特朗普宣布对多晶硅及其衍生产品加征关税", "date": "2026年08月07日 05:19", "author": "央视" }, { "title": "猪价止涨回落再磨底 四季度有望迎来市场回暖", "date": "2026年08月07日 02:16", "author": "证券时报" }, { "title": "香港打击加密币跨境投资新骗局", "date": "2026年08月06日 15:00", "author": "21世纪经济报道" }, { "title": "特朗普承诺的美国经济黄金时代未能兑现", "date": "2026-08-07 06:00:00", "author": "环球经济眼" }, { "title": "伊朗协议重塑原油市场?特朗普态度如何?", "date": "2026-08-07 05:36:32", "author": "市场资讯" }, { "title": "A股存量博弈特征凸显 板块快速轮动", "date": "2026年08月07日 02:45", "author": "上海证券报" }, { "title": "美元:汇率的十字路口,美国近期经济扫描", "date": "2026年08月07日 07:04", "author": "市场资讯" }

reference


OpenClaw 浏览器数据抓取:结构化信息提取的生产级用例

https://www.tencentcloud.com/techpedia/141039

puppeteer-v24.25.0

https://raw.githubusercontent.com/puppeteer/puppeteer/refs/tags/puppeteer-v24.25.0/docs/faq.md

深度 | Kimi K3 完整技术报告:48 小时造芯神话的真相与更深的颠覆 --- 深度分析

https://zhuanlan.zhihu.com/p/2067280307707982819

相关推荐
0end15 小时前
AI Agent 学习笔记(七):Coding Agent 与代码生成——代码是 Agent 的元能力
ai编程
Lambert2815 小时前
Spring AI 2.0 vs LangChain4j 1.19:MCP 新规范竞速,Spring AI 慢在哪
langchain·ai编程
Sword995 小时前
近 90 天用了 14 亿 Token,我拿 AI 干了些什么
ai编程
、如果5 小时前
推文评论数据怎么拿?X(Twitter)评论分析 Skill 的工程拆解与实测
爬虫·ai编程·twitter
郑州光合科技余经理5 小时前
本地生活平台搭建:统一订单表与多后台切换怎么拆
java·开发语言·前端·系统架构·uni-app·php·ai编程
让你三行代码QAQ6 小时前
SpringAI-Advisors
spring·ai编程
JavaDog程序狗6 小时前
【AI工具实测】豆包也干了!字节发布企业级 AI Agent「豆包工作」
ai编程·豆包marscode
JavaDog程序狗6 小时前
【AI工具】你敢看自己一个月烧了多少 Token 吗?Juejin Usage来了
ai编程·掘金社区
CodeStats7 小时前
【Java 表达式引擎】如何设计一套 Java 表达式引擎:从递归下降到 AST 求值的完整实践
java·ai编程·表达式·引擎
程序员鱼皮8 小时前
爆火的《牛来》模型正式发布!DeepSeek 的排名又下降了。。
前端·后端·ai编程