大家好，今天我们来聊聊自动化爬虫中一个非常让人头疼的问题。很多兄弟经常遇到这样的场景：用Playwright写好的爬虫代码，本地跑得好好的，一放到服务器上就被目标网站无情拒绝，响应页面里甚至直接嘲讽了一句 "automated browser detected"。
同样的代码，为什么换个网站、换个环境表现就完全不同？这真不是玄学，而是因为Playwright的默认行为精准踩中了现代网站的自动化检测红线。今天我们就来扒一扒这些检测的底层逻辑，并给出一套"Stealth指纹伪装 + 动态代理"的终极解决方案。
一、扒一扒网站的四层自动化检测逻辑
网站检测Playwright或Selenium等工具，本质上是在寻找人类正常浏览器不会有的特征。这个检测链条通常分为四层：
- navigator.webdrivernavigator.webdriver 标记： 这是最直接的"照妖镜"。只要浏览器由WebDriver控制，这个布尔值就会被设置为 true，网站只需一行JavaScript代码就能将你拒之门外。
- CDP (Chrome DevTools Protocol) 暴露： Playwright底层强依赖Chromium的CDP协议。网站可以通过探测 window.chrome 对象中是否包含特定自动化标记（如 csi），或者监听 Page.executeCDPCommand 等命令响应来发现端倪。
- WebGL和Canvas指纹差异： 自动化启动的浏览器在图形渲染层面与真实浏览器不同。例如，自动化环境的WebGL渲染器可能会暴露 "SwiftShader"（软件渲染）字样，且生成的Canvas图形在抗锯齿处理上会产生可辨识的机器"指纹噪声"。
- 浏览器属性不一致： 真实的Chrome通常带有多个插件，而自动化环境的 navigator.plugins 往往是空数组；此外，自动化浏览器的 navigator.language 语言设置也极易与系统真实环境产生冲突。
二、破局之道：Stealth补丁的内部魔法
为了应对上述检测，社区推出了 stealth-patches。大家需要理解，它并不是修改了Playwright的源码，而是在浏览器上下文创建之后、页面加载之前，通过JavaScript对暴露的特征进行了"打补丁"篡改。
- 重写属性： 强制将 navigator.webdriver 覆盖为 false，并补全 navigator.plugins 数组。
- 拦截与伪装： 伪造 window.chrome 对象使其看起来像正常人类浏览器，并将WebGL渲染器名称强行修改为真实的显卡名称（如 Intel Iris OpenGL Engine）以隐藏软件渲染痕迹。
三、终极实战：Stealth模式 + 动态代理
搞定了浏览器指纹，我们还面临最后一个致命的检测维度：IP请求频率和来源。如果用同一个IP抓取，就算指纹伪装得再像人类，也会触发风控。
此时，我们需要结合爬虫代理提供的动态住宅IP和高匿名模式，能够在每次请求时切换不同的出口IP，让网站无法通过IP维度建立爬虫的行为画像。
下面是"指纹层 + IP层"双重隐蔽的完整实战代码：
javascript
const { chromium } = require('playwright');
const { stealth } = require('stealth-patches');
(async () => {
// 1. 启动 Playwright 浏览器
const browser = await chromium.launch({
headless: true // 保持无头模式运行
});
// 2. 创建上下文并配置【亿牛云爬虫代理】
const context = await browser.newContext({
// 通过动态转发隐藏真实请求源
proxy: {
server: 'http://http-proxy.16yun.cn:9000', //服务器地址
username: 'your_username', //代理账号
password: 'your_password' //代理密码
}
});
// 3. 关键防御：在页面创建前应用 stealth 补丁，抹除自动化指纹
await stealth(context);
const page = await context.newPage();
// 4. 细节优化：设置浏览器语言，使其与代理IP的地理位置匹配，降低特征冲突
await page.setExtraHTTPHeaders({
'Accept-Language': 'zh-CN,zh;q=0.9'
});
console.log('正在通过代理访问目标网站...');
// 5. 访问目标网站，等待网络空闲
await page.goto('https://target-site.com', {
waitUntil: 'networkidle'
});
// 验证防线是否生效：检查 navigator.webdriver 是否被成功篡改
const webdriverValue = await page.evaluate(() => navigator.webdriver);
console.log('当前 navigator.webdriver 状态:', webdriverValue); // 成功伪装时应输出 false
const content = await page.content();
console.log('页面加载成功，成功绕过基础检测！');
await browser.close();
})();四、写在最后：防御没有银弹
即使使用了 stealth-patches 和爬虫代理，我们依然不能掉以轻心。Stealth模式存在盲区，它无法模拟人类的鼠标轨迹、点击节奏等行为模式，也无法解决底层HTTP客户端的TLS指纹差异。
在实际开发中，建议大家配合 page.mouse.move 加入随机停顿来模拟人类操作，并坚持使用Playwright的原生请求机制以保持TLS指纹的一致性。多层防御结合优质的住宅IP，才是保证爬虫长期稳定运行的王道。