playwright 一些方法解决cloudflare防护页的问题

在尝试从一个使用Cloudflare Web应用程序防火墙(WAF)保护的网站获取数据时,我遇到了一些挑战.该网站的安全措施非常严格,以至于在正常浏览几个页面后,Cloudflare的检查页面就会出现.

传统的HTTP客户端方法,如直接使用httpclient来抓取页面数据,很快就会遭遇阻碍.

即便尝试使用代理IP池,问题依旧存在,因为Cloudflare的检测机制能够在短时间内多次访问后迅速触发.在多次尝试后,我决定使用playwright这个自动化库来模拟正常的浏览器行为.

虽然在使用playwright的过程中遇到了一些问题,但我最终找到了解决方案.现在,尽管速度稍慢,但我能够正常地从网站获取数据.接下来,我将分享如何克服这些挑战的经验.

直接403

这是cloudflare的基本防护,他会检查是否使用了webdriver进行模拟爬取.

解决方式:

java 复制代码
...
final BrowserContext context = browser.newContext();
...
context.setDefaultTimeout(180_000);
context.setDefaultNavigationTimeout(180_000);
context.addInitScript("Object.defineProperty(navigator, 'webdriver', {get: () => undefined})");

这里同时也将默认超时拉长,避免在等待某些元素触发的条件下超时.

使用本地安装的浏览器

可以直接指定本地安装的浏览器:

While Playwright can download and use the recent Chromium build, it can operate against the branded Google Chrome and Microsoft Edge browsers available on the machine (note that Playwright doesn't install them by default). In particular, the current Playwright version will support Stable and Beta channels of these browsers.
Available channels are chrome, msedge, chrome-beta, msedge-beta or msedge-dev.

启动的时候指定即可:

java 复制代码
Browser browser = playwright.chromium().launch(new BrowserType.LaunchOptions().setChannel("msedge"));

是否触发了cloudflare判断

因为触发了cloudflare页面的url并不会有明显的变化,只有多一次跳转.

这里直接使用页面元素即可, 处理代码如下:

java 复制代码
    private static void checkMeetChallenge(Page page) throws Exception {
        ElementHandle stage = page.querySelector("div#challenge-stage");
        int checkCount = 1;
        while (stage != null) {
            tryToClickChallenge(page, stage);
            if (checkCount >= 6) {
                if (page.querySelector("div#challenge-stage") != null) {
                    throw new Exception("meet challenge restart");
                }
            }
            log.info("handleCategory - meet challenge. wait 20s to check it again. count:{}", checkCount);
            checkCount++;
            page.waitForTimeout(20_000);
            stage = page.querySelector("div#challenge-stage");
        }
    }

在上层的调用代码中,我先判断了我需要的元素是否存在,如果不存在有两种可能,一种是已经爬完了,另一种是触发了cloudflare.

那个meet challenge restart是一层兜底, 如果点击失败加上长时间等待还在, 那就重启浏览器, 重启之后大概率不会重新触发防护, 也算是最后一个措施了.

处理防护页的人工点击

首先先看一下那个防护页面的结构:

html 复制代码
<div id="challenge-stage" style="display: flex;">
    <div id="turnstile-wrapper" class="captcha-prompt spacer">
        <div><iframe
                src="https://challenges.cloudflare.com/cdn-cgi/challenge-platform/xxxxxx"
                allow="cross-origin-isolated; fullscreen"
                sandbox="allow-same-origin allow-scripts allow-popups" id="cf-chl-widget-sppzq" tabindex="0"
                title="包含  Cloudflare  安全质询的小组件 "
                style="border: none; overflow: hidden; width: 300px; height: 65px;"></iframe><input
                type="hidden" name="cf-turnstile-response" id="cf-chl-widget-sppzq_response"></div>
    </div>
</div>

点击的组件被放在了一个iframe里,正常要获取元素点击比较麻烦.

但是playwright直接模拟鼠标在位置上点击即可.

具体思路是定位到外层的div#challenge-stage, 然后用page.mouse().move移动到元素上,在用click()点击.

代码:

java 复制代码
BoundingBox box = stageDiv.boundingBox();
page.mouse().move(box.x + 100, box.y + box.height / 2);
page.waitForTimeout(1_000 + ThreadLocalRandom.current().nextInt(100, 1000));
page.mouse().click(box.x + 100, box.y + box.height / 2);

其实你不点击它也没关系,我在测试的时候发现这个challenge页面会在1分钟左右自己消失,可以在检测出是challenge之后循环waitForTimeout即可.

最后就是要注意时间间隔,中间留一点时间.

这些做完基本就可以慢慢获取数据了.

我之前还做了很多随机滚动(mouse.wheel),移动到下一页点击等措施,结果发现做不做一样,可能在一些情况下比较有用.

因为playwright很多动作其实是要scheduled的,它并不立即触发,比如你click下一页之后就算waitForLoadState再用locatorquerySelector获取元素他还是会报错,这种情况可以手动waitForTimeout一下,我不知道这样处理是不是常规做法,但至少解决了我的问题.

相关参考链接:
playwright
playwright Browsers
How to Bypass Cloudflare with Playwright in 2024
original blog

相关推荐
weixin_436525072 分钟前
Windows - Maven 安装到 IDEA 配置全流程
java·maven·intellij-idea
启山智软4 分钟前
APS系统适合哪些行业或企业规模
java·商城开发
在等晚安么16 分钟前
记录自己写项目的第三天,springbot+redis+rabbitma高并发项目
java·spring boot·redis·1024程序员节
OkGogooXSailboat40 分钟前
flume的log4j日志无输出排查
java·flume·1024程序员节
想睡好1 小时前
express中间件(java拦截器)
java·中间件·express
兢兢业业的小白鼠1 小时前
Java常用中间件整理讲解——Redis,RabbitMQ
java·中间件·java-rabbitmq·1024程序员节
鱼儿也有烦恼1 小时前
快速学完 LeetCode top 1~50 [特殊字符]
java·算法·leetcode·1024程序员节
独自破碎E1 小时前
LeetCode 380: O(1) 时间插入、删除和获取随机元素
java·算法·leetcode
信仰_2739932431 小时前
Mybatis一级缓存
java·缓存·mybatis
Brookty2 小时前
【算法】前缀和(二)使用
java·学习·算法·前缀和·动态规划·1024程序员节