技术栈
pyppeteer
GeLx
4 天前
python
·
程序人生
·
playwright
·
drissionpage
·
pyppeteer
·
浏览器自动化控制
从反爬角度：Playwright CDP 模式、Playwright 传统模式与 DrissionPage 的比较
在当今的Web数据采集领域，反爬虫技术已经从简单的请求频率限制发展到复杂的浏览器指纹识别和行为分析。自动化工具的选择直接决定了爬虫项目的成败。本文将从反爬检测的核心角度，深入分析三种主流自动化框架：Playwright CDP模式、Pyppeteer(Puppeteer) 和 DrissionPage，帮助开发者做出明智的技术选型。
亿牛云爬虫专家
1 年前
python
·
数据采集
·
爬虫代理
·
代理ip
·
无头浏览器
·
小红书
·
pyppeteer
Pyppeteer实战：基于Python的无头浏览器控制新选择
在互联网信息爆炸的今天，如何高效获取目标数据成为了一项核心竞争力。本文将带大家走进 Pyppeteer 的世界，通过实战案例对接目标网站 小红书 的热点推荐信息（包括标题、内容和评论），并详细讲解如何利用爬虫代理实现 IP 代理防封、设置 Cookie 与自定义 User-Agent 等操作。整个项目从数据采集、关键信息解构到代码演变可视化，都遵循开源侦探型思路，力图打通从数据获取到数据分析的每一环节。
svygh123
2 年前
开发语言
·
javascript
·
python
·
ajax
·
pyppeteer
pyppeteer 执行js函数调用ajax post传入参数并获取返回值
在Pyppeteer中，你可以使用page.evaluate()方法来执行JavaScript函数，并且可以传递参数给这个函数。如果你需要执行一个调用AJAX POST请求的函数并且传入参数，同时需要获取返回值，可以使用以下方法：
我是有底线的