技术栈
puppeteer
就叫年华吧丶
8 天前
网络协议
·
http
·
https
·
puppeteer
·
chromium
Puppeteer 运行一段时间后报 `net::ERR_BLOCKED_BY_CLIENT`:一次 Chromium HTTPS 自动升级问题的完整排查
本文记录一次基于 Puppeteer + Headless Chromium 的服务端打印故障排查过程。为便于公开分享,文中的服务名、IP 地址、接口路径、日志时间、容器信息和项目路径均已脱敏或泛化。
带娃的IT创业者
10 天前
前端
·
交互
·
puppeteer
·
可观测性
·
浏览器自动化
·
无头浏览器
·
web工程化
Puppeteer 深度解析:超越自动化测试的现代 Web 交互范式
👋 Hi,我热衷于 (AI 大模型应用落地、Python 实战进阶与 AI 开发工具链)。代表专栏:《AI大模型应知应会短平快系列100篇》《解密OpenClaw》《解码意识NCTransformer》《WeClaw Agent实战》> 💡 创业路上,用技术换时间;欢迎 关注我,一起把 AI 变成生产力 🚀 >
Echo flower
14 天前
运维
·
docker
·
容器
·
puppeteer
Docker 容器中 Puppeteer 僵尸进程排查与修复
在 Docker 容器里跑 Puppeteer(Headless Chrome)做 PDF 导出、网页截图,跑一段时间后容器里的僵尸进程(Z)越积越多:
深蓝电商API
2 个月前
爬虫
·
selenium
·
puppeteer
·
playwright
Playwright vs Puppeteer vs Selenium 2026终极对比
在 2026 年的 Web 自动化领域,三大工具依然占据着绝对主导地位:微软的 Playwright、谷歌的 Puppeteer 和老牌的 Selenium。经过多年的迭代演进,这三个工具都已经发展出了各自独特的优势和定位。本文将基于 2026 年最新的版本数据和行业实践,从架构、功能、性能、AI 集成等多个维度进行全面对比,帮助团队在不同场景下做出最优的技术选型。
一直会游泳的小猫
3 个月前
开源
·
puppeteer
·
playwright
·
隐形 chromium 浏览器
CloakBrowser
CloakBrowser 是一个隐形 Chromium 浏览器(Stealth Chromium Browser),通过在 C++ 源码级别修改浏览器指纹,实现对反机器人检测系统(Anti-Bot Systems)的绕过。它作为 Playwright 和 Puppeteer 自动化框架的直接替代品,无需修改代码即可实现隐形浏览。
亿牛云爬虫专家
5 个月前
tcp/ip
·
金融
·
爬虫代理
·
puppeteer
·
代理ip
·
突发新闻
·
即时采集
极速上手:Puppeteer + 原生代理IP 突破无头检测(金融与突发新闻抓取 Cheat Sheet)
在金融量化分析、宏观经济数据追踪或突发新闻监控等场景中,数据价值随时间呈指数级衰减。高频并发抓取极易触发目标网站的反爬策略(如 Cloudflare 盾、无头浏览器指纹识别)以及严苛的 IP 封禁。
熊猫钓鱼>_>
5 个月前
前端
·
人工智能
·
chrome
·
自动化
·
云计算
·
puppeteer
·
mcp
Puppeteer深度解析:Chrome自动化的艺术与实践
Puppeteer,作为Google Chrome团队开发的官方无头浏览器自动化工具,自2017年发布以来,凭借其与Chrome的深度集成、强大的API能力和活跃的社区支持,成为了Web自动化领域的佼佼者。本文将深入解析Puppeteer的核心特色,探讨其技术实现和应用场景,为您呈现Chrome自动化的艺术与实践。
熊猫钓鱼>_>
5 个月前
人工智能
·
ai
·
puppeteer
·
playwright
·
jina
·
skills
·
agent skills
Playwright与Puppeteer实战教程:让AI拥有“看懂“网页的能力
在AI Agent时代,如何让大语言模型“看懂”网页是一个核心挑战。与Jina Reader API这种“外包”方案不同,Playwright和Puppeteer提供了一种“本地化”的解决方案——直接在服务器上运行无头浏览器,真正渲染页面、执行JavaScript、交互操作。
REDcker
7 个月前
爬虫
·
selenium
·
自动化
·
浏览器
·
puppeteer
Puppeteer 与 Selenium 对比分析
Puppeteer 和 Selenium 都是浏览器自动化工具,但设计目标不同,各有侧重。本文档将详细介绍两者的核心特性、架构原理、使用场景,并通过详细的对比分析帮助开发者根据实际需求选择合适的工具。
weixin_46244623
7 个月前
puppeteer
【Puppeteer 实战】自动登录后台并分页提取表格数据(含 50 条/页切换)
本文通过一个完整示例,演示如何使用 Puppeteer 自动访问后台系统、设置 Cookie、切换分页大小,并循环点击「下一页」抓取所有表格 HTML 数据。
不叫猫先生
8 个月前
爬虫
·
数据采集
·
puppeteer
Puppeteer + BrightData代理集成实战,解锁高效Web数据采集新范式
Puppeteer 与 Bright Data 代理集成,以及 代理管理器和 Puppeteer 集成,轻松调用 API 就可以获取亚马逊电商平台的商品类目。Puppeteer提供了一个高级 API 来通过 DevTools 协议控制谷歌浏览器,浏览器中手动执行的绝大多数操作都可以使用 Puppeteer 来完成。
vivo互联网技术
8 个月前
前端
·
ffmpeg
·
puppeteer
·
web3d
数字人动画云端渲染方案
作者:vivo 互联网前端团队 - Su Ning为解决拟我形象在多场景展示中依赖 3D 渲染导致的性能与接入问题,本文提出将形象预先导出为视频或动图资源。对比三种技术路径后,最终选择 Puppeteer + H5 渲染帧 + FFmpeg 合成视频 的方案,实现了渲染效果一致、服务端批量处理和低接入成本,为拟我形象的规模化应用提供了高效可扩展的技术基础。
卤代烃
8 个月前
前端
·
chrome
·
puppeteer
🤝 了解 CDP (Chrome DevTools Protocol):browser-use 背后的隐藏功臣
Chrome DevTools Protocol (CDP) 是 Chromium 浏览器调试工具的核心通信协议:它基于 JSON 格式,可以通过 WebSocket 实现客户端与浏览器内核之间的双向实时交互。
qq_42036203
9 个月前
前端
·
pdf
·
状态模式
·
node
·
puppeteer
PDF导出服务
在前端开发中,经常遇到pdf导出的需求,处理这类需求能实现的方式也很多,包括前端导出,服务端导出。由于有的内容过多,导出时间过长,不适宜前端导出,所以一般还是选择服务端导出,然后通知客户端导出结果。
是晓晓吖
1 年前
前端
·
puppeteer
Puppeteer page.on('response',fn)的最佳实践之等待响应
由先前的文章《 为什么 page.waitForResponse 只适合“短时间内”的场景? 》可知,page.waitForResponse 主要用于等待那些能迅速返回的响应。那么,对于需要长时间等待或者捕获多个响应的场景,我们应该如何处理呢?
是晓晓吖
1 年前
前端
·
puppeteer
说说 page.on('response',fn)
与 page.waitForResponse 类似,page.on('response', fn) 同样可以用于监听和等待网络请求的响应,两者的执行环境均为 Node.js,且底层都基于对 Network.responseReceived 事件的监听。然而,它们在特性、适用场景和实现机制上都存在着显著差异。
北漂大橙子
1 年前
前端
·
puppeteer
运营妹子复制 200 个 URL 手酸到哭,我用 Puppeteer 写了个工具,1 小时搞定!
那天我正对着电脑假装敲代码,实则偷偷刷短视频摸鱼,运营部的小美突然凑过来,声音甜得能齁死人:“哥~我这儿有 200 多个文档 URL,得把每个标题都抄下来,手动复制快把我手戳酸了,嘤嘤嘤~”
是晓晓吖
1 年前
前端
·
puppeteer
Page.waitForResponse的竞态条件与最佳实践
虽然官方文档中没有明确且详细的阐述过 Page.waitForResponse 的竞态条件(Race Condition),但是从 官方的代码示例、github issue 讨论 及 实际使用 中,我们会遇到 时间序列竞态 (Temporal Race Condition) 和 匹配条件竞态 (Matching Race Condition) 两种情况。
是晓晓吖
1 年前
前端
·
puppeteer
page.waitForResponse 执行环境:页面还是 Node.js?
Puppeteer 中的 page.waitForResponse 方法虽然监听的是页面中的网络请求,但是它的执行上下文环境是 Node.js 环境。