webdriver 反爬虫 (selenium反爬虫) 绕过

1. webdriver 反爬虫原理

爬虫程序可以借助渲染工具从动态网页中获取数据。

在这个过程中,"借助"其实是通过对应的浏览器驱动(即WebDriver)向浏览器发出指令的行为。因此,开发者可以根据客户端是否包含浏览器驱动这一特征来区分正常用户和爬虫程序。

webdriver 属性是我们最常听到的,通过 webdriver 驱动浏览器就会包含这一属性,因此可用来辨别爬虫程序(可检测的属性远不止这一种)。

WebDriver 检测的结果有3种,分别是true、false、undefined 。当我们使用的渲染工具有webdriver 属性时,navigator.webdriver 的返回值就是 true 。反之则会返回 false 或 undefine 。

由于 Selenium 通过 WebDriver 驱动浏览器,客户端的webdriver 属性存在,所以无法获得目标数据。注:Puppeteer 根据 DevTools 协议控制 Chrome 浏览器或 Chromium 浏览器,但 Puppeteer 也存在webdriver 属性。

执行以下代码,会导致 webdriver 属性检测不通过,如下图:

复制代码
from selenium.webdriver import Chrome

driver = Chrome()
url = 'https://bot.sannysoft.com/'
driver.get(url)

2. webdriver 识别绕过:方法 1

undetected_chromedriver 是一个防止浏览器指纹特征被识别的依赖库,使用 undetected_chromedriver.Chrome() 新建浏览器窗口,从而修改浏览器指纹特征。

注:可以使用 "pip install undetected-chromedriver" 安装这个 py 库。

执行以下代码,可通过 webdriver 属性检测,如下图:

复制代码
import undetected_chromedriver as uc

driver = uc.Chrome()
url = 'https://bot.sannysoft.com/'
driver.get(url)

3. webdriver 识别绕过:方法 2

原理:通过执行 driver.execute_cdp_cmd 命令,可以在网页加载前运行 js 代码,从而改变浏览器的指纹特征

因为 webdriver 属性置空 js 代码有更改,同时最好修改不止一个属性,因此直接使用开源分享的 js 代码比较方便。

js 文件网址:https://github.com/berstend/puppeteer-extra/blob/stealth-js/stealth.min.js

stealth.min.js 这个文件包含了常用的浏览器特征,我们只需要读取文件,然后执行即可。

执行以下代码,可通过 webdriver 属性检测,如下图:

复制代码
from selenium.webdriver import Chrome

driver = Chrome()
with open('stealth.min.js', encoding='utf-8') as f:
    driver.execute_cdp_cmd('Page.addScriptToEvaluateOnNewDocument', {'source': f.read()})  # 在页面刚加载的时候执行JavaScript语句
url = 'https://bot.sannysoft.com/'
driver.get(url)
相关推荐
Luck_ff08101 小时前
【Python爬虫详解】第四篇:使用解析库提取网页数据——BeautifuSoup
开发语言·爬虫·python
慌糖1 小时前
✨ Apifox:这玩意儿是接口界的“瑞士军刀”吧![特殊字符][特殊字符]
测试工具
试着4 小时前
【新技术】微软 Azure Test Impact Analyzer (TIA) 全面解析
测试工具·microsoft·azure·测试覆盖率
心灵宝贝7 小时前
Postman-win64-7.2.2 安装教程(Windows 64位详细步骤)
windows·测试工具·postman
程序员小远7 小时前
接口测试和单元测试详解
自动化测试·软件测试·python·测试工具·单元测试·测试用例·接口测试
天天扭码9 小时前
什么?2025年了还在写传统爬虫!来试试更有爽感的AI爬虫 ψ(`∇´)ψ
爬虫·node.js·ai编程
梯度寻优者_超9 小时前
获取房源信息并完成可视化——网络爬虫实战1
爬虫
Ctrl С10 小时前
[三分钟]入门web自动化测试(一):1.使用驱动管理下载web驱动(WebDriver);2.初步认识和使用Selenium
selenium·测试工具·自动化·web
HtwHUAT11 小时前
二、UI自动化测试02--元素定位方法
笔记·python·selenium·ui
??? Meggie15 小时前
【Python】保持Selenium稳定爬取的方法(防检测策略)
开发语言·python·selenium