OpenClaw如何通过js编程从浏览器提取数据

目前AI agent的编程能力越来越强,kimi 3用开源EDA工具48 小时自主完成芯片设计。

这里通过openclaw编辑&运行js脚本从浏览器提取数据示例,验证AI Agent编程执行任务的能力。

1 浏览器技能

这里首先让openclaw自主安装浏览器技能和工具。

由于预算原因,我们采用了qwen3.6,没有采用目前跟kimi3同级别的模型如qwen3.8。

1.1 浏览器技能安装

这里采用最直观方式,通过对话直接下达指令,告诉openclaw安装一个浏览器自动化技能。

提示示例如下

请帮我安装一个浏览器自动化技能。


以下是一些示例

Browser Skill:核心,提供浏览器操作能力

Scheduler Skill:定时执行

Web Search Skill:辅助信息获取

openclaw助手从 ClawHub 搜索并验证了几个候选。

经过安全性检查,最后只有 browser-automation-puppeteer 通过了安全扫描

成功安装到 ~/.openclaw/workspace/skills/browser-automation-puppeteer/

可以看到,openclaw不是直接安装,而是先搜索候选,进行安全检查。

最后发现只有browser-automation-puppeteer 满足,然后才安装该skill。

1.2 浏览器技能说明

我们进一步分析browser-automation-puppeteer 技能。

% ls ~/.openclaw/workspace/skills/browser-automation-puppeteer/


_meta.json LICENSE.txt README.md references scripts skill-card.md SKILL.md

browser-automation-puppeteer由多个文件组成,包含代码模板、调试指南等。

该技能可以让openclaw助手直接生成高质量的自动化测试或爬虫代码。

通过执行这些代码,openclaw可以获取到用户想要的数据。

为了能正确运行browser-automation-pupperteer,openclaw需要自主安装Puppeteer。

1.3 Puppeteer

Puppeteer 是由 Google Chrome 团队维护的 Node.js 库。

Puppeteer提供了一套高级 API,用JavaScript代码控制Chrome、Chromium或Firefox浏览器。

Puppeteer最常运行在无头模式下,即浏览器在后台运行,不显示图形界面,因此非常高效。

Puppeteer 能模拟几乎所有真实用户操作,主要应用在:

1)网页截图与 PDF 生成:将网页保存为图片或 PDF 文件。

2)网页爬虫与数据抓取:抓取传统工具无法获取的、由 JavaScript 动态渲染的内容。

3)自动化测试:对 Web 应用进行端到端(E2E)自动化测试。

4)自动化表单提交与 UI 交互:自动填写并提交表单、模拟点击、输入等操作。

5)性能分析:捕获网站的时间线追踪,分析页面性能。

2 浏览器抓取数据

2.1 打开特定页面

指示 openclaw 打开特定网页。

请用浏览器工具访问

https://finance.sina.com.cn/

如下所示,openclaw使用browser-automation-pupperteer工具打开了新浪财经主页。

可以看到openclaw并不是直接在前台打开浏览器。

而是后台打开页面,并通过编写&运行js脚本的方式获取数据。

2.2 编程提取数据

在打开页面后,尝试进一步提取数据,指令如下

请提取该页面排名前10的新闻标题、发布日期和作者姓名,并以 JSON 数组格式返回。

1)整体提取过程示例

openclaw进一步通过编写和运行js脚本,获取以上指令指定的信息。

2)tool运行代码示例

比对针对最开始的三次tools运行,其首次运行细节如下。

openclaw通过运行基于Puppeteer的js脚本,获取到浏览器页面的相关数据。

with show << -> run node, cat << 'SCRIPT' | node const puppeteer = require('puppeteer...lice(0, 5), null, 2)); } await browser.close(); })(); SCRIPT

3)JSON数组返回示例

前后5次tool调用,基于大模型的数据清理、重新提取、以及meta标签补全。

openclaw最终提取到排名前10新闻标题、发布日期和作者姓名,并以JSON数组格式返回。

{ "title": "人事巨震 谷歌AI何去何从", "date": "2026年08月07日 07:00", "author": "21世纪经济报道" }, { "title": "黄金多空博弈 金价走势尚未明朗", "date": "2026年08月07日 02:45", "author": "上海证券报" }, { "title": "铂、钯期价继续走高,趋势反转了?", "date": "2026年08月07日 07:29", "author": "市场资讯" }, { "title": "特朗普宣布对多晶硅及其衍生产品加征关税", "date": "2026年08月07日 05:19", "author": "央视" }, { "title": "猪价止涨回落再磨底 四季度有望迎来市场回暖", "date": "2026年08月07日 02:16", "author": "证券时报" }, { "title": "香港打击加密币跨境投资新骗局", "date": "2026年08月06日 15:00", "author": "21世纪经济报道" }, { "title": "特朗普承诺的美国经济黄金时代未能兑现", "date": "2026-08-07 06:00:00", "author": "环球经济眼" }, { "title": "伊朗协议重塑原油市场?特朗普态度如何?", "date": "2026-08-07 05:36:32", "author": "市场资讯" }, { "title": "A股存量博弈特征凸显 板块快速轮动", "date": "2026年08月07日 02:45", "author": "上海证券报" }, { "title": "美元:汇率的十字路口,美国近期经济扫描", "date": "2026年08月07日 07:04", "author": "市场资讯" }

reference


OpenClaw 浏览器数据抓取:结构化信息提取的生产级用例

https://www.tencentcloud.com/techpedia/141039

puppeteer-v24.25.0

https://raw.githubusercontent.com/puppeteer/puppeteer/refs/tags/puppeteer-v24.25.0/docs/faq.md

深度 | Kimi K3 完整技术报告:48 小时造芯神话的真相与更深的颠覆 --- 深度分析

https://zhuanlan.zhihu.com/p/2067280307707982819

相关推荐
小虎AI生活10 小时前
AI 培训现场翻车后的应急方案设计:从工具选型到教学流程的系统化思考
ai编程
犀利豆14 小时前
我和 Claude Code 一起写了一本介绍 Claude Code 原理的书
人工智能·ai编程·claude
Leonardo-15 小时前
30分钟打造本地AI问答系统
ai编程
Fluxproxy15 小时前
AI数据集采集、批量模型推理报错频发?AI项目网络稳定性优化实战
python·ai·ai编程
OpenTiny社区15 小时前
GenUI SDK v1.3.0 发布|多框架兼容,一键换物料,渲染器 & 演练场全面增强!
前端·ai编程
fairyly16 小时前
接手新项目不用硬啃源码,我的 TRAE Work 快速上手实战工作流
前端·ai编程·trae
名不经传的养虾人16 小时前
从0到1:企业级AI项目迭代日记 Vol.82|审批不再只写数据库,而是真正恢复执行
大数据·人工智能·ai编程·企业ai·多agent协作
ServBay16 小时前
AI 模型越来越多,.env 文件还扛得住吗?从 Qwen3.8-Max 发布看多模型管理的正确姿势
aigc·ai编程
明月_清风18 小时前
🤗 Hugging Face 模型上传完全指南:从本地到 Hub 的 4 种姿势
前端·后端·ai编程