puppeteer

就叫年华吧丶8 天前
网络协议·http·https·puppeteer·chromium
Puppeteer 运行一段时间后报 `net::ERR_BLOCKED_BY_CLIENT`:一次 Chromium HTTPS 自动升级问题的完整排查本文记录一次基于 Puppeteer + Headless Chromium 的服务端打印故障排查过程。为便于公开分享,文中的服务名、IP 地址、接口路径、日志时间、容器信息和项目路径均已脱敏或泛化。
带娃的IT创业者10 天前
前端·交互·puppeteer·可观测性·浏览器自动化·无头浏览器·web工程化
Puppeteer 深度解析:超越自动化测试的现代 Web 交互范式👋 Hi,我热衷于 (AI 大模型应用落地、Python 实战进阶与 AI 开发工具链)。代表专栏:《AI大模型应知应会短平快系列100篇》《解密OpenClaw》《解码意识NCTransformer》《WeClaw Agent实战》> 💡 创业路上,用技术换时间;欢迎 关注我,一起把 AI 变成生产力 🚀 >
Echo flower14 天前
运维·docker·容器·puppeteer
Docker 容器中 Puppeteer 僵尸进程排查与修复在 Docker 容器里跑 Puppeteer(Headless Chrome)做 PDF 导出、网页截图,跑一段时间后容器里的僵尸进程(Z)越积越多:
深蓝电商API2 个月前
爬虫·selenium·puppeteer·playwright
Playwright vs Puppeteer vs Selenium 2026终极对比在 2026 年的 Web 自动化领域,三大工具依然占据着绝对主导地位:微软的 Playwright、谷歌的 Puppeteer 和老牌的 Selenium。经过多年的迭代演进,这三个工具都已经发展出了各自独特的优势和定位。本文将基于 2026 年最新的版本数据和行业实践,从架构、功能、性能、AI 集成等多个维度进行全面对比,帮助团队在不同场景下做出最优的技术选型。
一直会游泳的小猫3 个月前
开源·puppeteer·playwright·隐形 chromium 浏览器
CloakBrowserCloakBrowser 是一个隐形 Chromium 浏览器(Stealth Chromium Browser),通过在 C++ 源码级别修改浏览器指纹,实现对反机器人检测系统(Anti-Bot Systems)的绕过。它作为 Playwright 和 Puppeteer 自动化框架的直接替代品,无需修改代码即可实现隐形浏览。
亿牛云爬虫专家5 个月前
tcp/ip·金融·爬虫代理·puppeteer·代理ip·突发新闻·即时采集
极速上手:Puppeteer + 原生代理IP 突破无头检测(金融与突发新闻抓取 Cheat Sheet)在金融量化分析、宏观经济数据追踪或突发新闻监控等场景中,数据价值随时间呈指数级衰减。高频并发抓取极易触发目标网站的反爬策略(如 Cloudflare 盾、无头浏览器指纹识别)以及严苛的 IP 封禁。
熊猫钓鱼>_>5 个月前
前端·人工智能·chrome·自动化·云计算·puppeteer·mcp
Puppeteer深度解析:Chrome自动化的艺术与实践Puppeteer,作为Google Chrome团队开发的官方无头浏览器自动化工具,自2017年发布以来,凭借其与Chrome的深度集成、强大的API能力和活跃的社区支持,成为了Web自动化领域的佼佼者。本文将深入解析Puppeteer的核心特色,探讨其技术实现和应用场景,为您呈现Chrome自动化的艺术与实践。
熊猫钓鱼>_>5 个月前
人工智能·ai·puppeteer·playwright·jina·skills·agent skills
Playwright与Puppeteer实战教程:让AI拥有“看懂“网页的能力在AI Agent时代,如何让大语言模型“看懂”网页是一个核心挑战。与Jina Reader API这种“外包”方案不同,Playwright和Puppeteer提供了一种“本地化”的解决方案——直接在服务器上运行无头浏览器,真正渲染页面、执行JavaScript、交互操作。
REDcker7 个月前
爬虫·selenium·自动化·浏览器·puppeteer
Puppeteer 与 Selenium 对比分析Puppeteer 和 Selenium 都是浏览器自动化工具,但设计目标不同,各有侧重。本文档将详细介绍两者的核心特性、架构原理、使用场景,并通过详细的对比分析帮助开发者根据实际需求选择合适的工具。
weixin_462446237 个月前
puppeteer
【Puppeteer 实战】自动登录后台并分页提取表格数据(含 50 条/页切换)本文通过一个完整示例,演示如何使用 Puppeteer 自动访问后台系统、设置 Cookie、切换分页大小,并循环点击「下一页」抓取所有表格 HTML 数据。
不叫猫先生8 个月前
爬虫·数据采集·puppeteer
Puppeteer + BrightData代理集成实战,解锁高效Web数据采集新范式Puppeteer 与 Bright Data 代理集成,以及 代理管理器和 Puppeteer 集成,轻松调用 API 就可以获取亚马逊电商平台的商品类目。Puppeteer提供了一个高级 API 来通过 DevTools 协议控制谷歌浏览器,浏览器中手动执行的绝大多数操作都可以使用 Puppeteer 来完成。
vivo互联网技术8 个月前
前端·ffmpeg·puppeteer·web3d
数字人动画云端渲染方案作者:vivo 互联网前端团队 - Su Ning为解决拟我形象在多场景展示中依赖 3D 渲染导致的性能与接入问题,本文提出将形象预先导出为视频或动图资源。对比三种技术路径后,最终选择 Puppeteer + H5 渲染帧 + FFmpeg 合成视频 的方案,实现了渲染效果一致、服务端批量处理和低接入成本,为拟我形象的规模化应用提供了高效可扩展的技术基础。
卤代烃8 个月前
前端·chrome·puppeteer
🤝 了解 CDP (Chrome DevTools Protocol):browser-use 背后的隐藏功臣Chrome DevTools Protocol (CDP) 是 Chromium 浏览器调试工具的核心通信协议:它基于 JSON 格式,可以通过 WebSocket 实现客户端与浏览器内核之间的双向实时交互。
qq_420362039 个月前
前端·pdf·状态模式·node·puppeteer
PDF导出服务在前端开发中,经常遇到pdf导出的需求,处理这类需求能实现的方式也很多,包括前端导出,服务端导出。由于有的内容过多,导出时间过长,不适宜前端导出,所以一般还是选择服务端导出,然后通知客户端导出结果。
是晓晓吖1 年前
前端·puppeteer
Puppeteer page.on('response',fn)的最佳实践之等待响应由先前的文章《 为什么 page.waitForResponse 只适合“短时间内”的场景? 》可知,page.waitForResponse 主要用于等待那些能迅速返回的响应。那么,对于需要长时间等待或者捕获多个响应的场景,我们应该如何处理呢?
是晓晓吖1 年前
前端·puppeteer
说说 page.on('response',fn)与 page.waitForResponse 类似,page.on('response', fn) 同样可以用于监听和等待网络请求的响应,两者的执行环境均为 Node.js,且底层都基于对 Network.responseReceived 事件的监听。然而,它们在特性、适用场景和实现机制上都存在着显著差异。
北漂大橙子1 年前
前端·puppeteer
运营妹子复制 200 个 URL 手酸到哭,我用 Puppeteer 写了个工具,1 小时搞定!那天我正对着电脑假装敲代码,实则偷偷刷短视频摸鱼,运营部的小美突然凑过来,声音甜得能齁死人:“哥~我这儿有 200 多个文档 URL,得把每个标题都抄下来,手动复制快把我手戳酸了,嘤嘤嘤~”
是晓晓吖1 年前
前端·puppeteer
Page.waitForResponse的竞态条件与最佳实践虽然官方文档中没有明确且详细的阐述过 Page.waitForResponse 的竞态条件(Race Condition),但是从 官方的代码示例、github issue 讨论 及 实际使用 中,我们会遇到 时间序列竞态 (Temporal Race Condition) 和 匹配条件竞态 (Matching Race Condition) 两种情况。
是晓晓吖1 年前
前端·puppeteer
page.waitForResponse 执行环境:页面还是 Node.js?Puppeteer 中的 page.waitForResponse 方法虽然监听的是页面中的网络请求,但是它的执行上下文环境是 Node.js 环境。