在Selenium 中更改 User-Agent 的步骤与最佳实践

引言

在 Selenium 中更改 User Agent 是许多网页自动化任务中的关键步骤。它有助于将自动化脚本伪装成常规浏览器，从而避免被网站检测到。本指南将带您了解如何在 Selenium 中更改 Google Chrome 的 User Agent，并提供最佳实践以确保您的网页自动化任务顺利进行。

目录

1. 了解 Selenium User-Agent
2. Selenium 中的默认 User-Agent
3. 为什么要更改 User-Agent？

3.1. 在 Google Chrome Selenium 中更改 User-Agent

3.2. 在 Firefox Selenium 中更改 User-Agent

1. 更顺畅访问网站的最佳实践
2. 结语

1. 了解 Selenium User-Agent

User-Agent 字符串是 HTTP 头信息的重要组成部分，在浏览器和 Web 服务器之间的通信中起着重要作用。它提供有关发送请求的浏览器、操作系统和设备的具体信息。以下是一个典型的 User-Agent 字符串示例：

Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.159 Safari/537.36

这个字符串表明请求来自运行在 Windows 操作系统上的 Chrome 浏览器。

然而，当使用 Selenium 进行 Web 自动化时，默认的 User-Agent 字符串可以揭示请求是由自动化脚本发出的。配备反机器人措施的网站可以轻松检测到这一点并阻止访问，以防止自动化抓取或测试。这使得在 Selenium 中自定义 User-Agent 字符串变得至关重要，以使请求看起来像是来自真实的浏览器，从而降低被检测和阻止的风险。

2. Selenium 中的默认 User-Agent

Selenium 在发出 HTTP 请求时使用 User-Agent 字符串。默认情况下，Selenium 将使用与其自动化的浏览器相关联的 User-Agent 字符串。这意味着当您使用 Chrome WebDriver 运行 Selenium 脚本时，User-Agent 字符串将反映 Chrome 的默认 User-Agent。

然而，这个默认的 User-Agent 有时会向 Web 服务器发出信号，表明请求来自自动化脚本，使基于 Selenium 的操作容易被反机器人系统检测和阻止。自定义 User-Agent 字符串可以帮助减轻这个问题，使您的脚本更无缝地融入常规浏览器流量。

3. 为什么要更改 User-Agent？

User-Agent 字段包含有关发出请求的浏览器类型、版本、引擎和操作系统的信息。如果目标网站在短时间内收到来自同一 User-Agent 的多个请求，它有理由怀疑这些请求来自同一个用户或单个机器人。然后，网站管理员可以暂时阻止来自该特定 User-Agent 的请求，以防止进一步访问。特别是在需要抓取大量数据的情况下，能够更改 User-Agent 以模拟不同用户是至关重要的。这可以显著提高您的自动化任务成功率。

3.1. 在 Google Chrome Selenium 中更改 User-Agent

如果您尚未在本地安装 selenium 库，可以使用以下命令进行安装：

pip install selenium

导入库：

from selenium import webdriver

然后初始化一个 Chrome Options 对象并设置自定义 User-Agent：

custom_user_agent = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/122.0.0.0 Safari/537.36"

chrome_options = webdriver.ChromeOptions()
chrome_options.add_argument(f'--user-agent={custom_user_agent}')

接下来，创建一个新的 ChromeDriver 实例并向目标网站发出请求：

driver = webdriver.Chrome(options=chrome_options)
driver.get("https://httpbin.org/user-agent")

HTTPBin 是一个 Web 请求调试服务，它显示请求的 User-Agent。如果代码正确，您应该会看到我们自定义的 User-Agent。

在上述代码中，custom_user_agent 值是静态的。如果您希望每次打开浏览器时使用不同的 User-Agent，可以使用 fake-useragent 库，该库提供了一种简单的方法来动态生成随机 User-Agent 字符串。使用以下命令安装该库：

pip install fake-useragent

使用 fake-useragent 非常简单：

from fake_useragent import UserAgent
ua = UserAgent()

# 获取一个随机的浏览器 User-Agent 字符串
print(ua.random)

# 或者获取特定浏览器的 User-Agent 字符串
print(ua.chrome)
# Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36
print(ua.firefox)
# Mozilla/5.0 (X11; Linux x86_64; rv:109.0) Gecko/20100101 Firefox/115.0
print(ua.safari)
# Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/16.2 Safari/605.1.15

结合 Selenium，完整代码如下：

import time
from selenium import webdriver
from fake_useragent import UserAgent

ua = UserAgent()
chrome_options = webdriver.ChromeOptions()
chrome_options.add_argument(f'--user-agent={ua.random}')

driver = webdriver.Chrome(options=chrome_options)
driver.get("https://httpbin.org/user-agent")

time.sleep(10)
driver.quit()

这种设置允许我们在 Selenium 驱动的 Google Chrome 中随机化使用的 User-Agent。

3.2. 在 Firefox Selenium 中更改 User-Agent

Selenium 不仅可以驱动 Google Chrome，还可以驱动 Firefox。唯一的区别是将 webdriver.ChromeOptions() 切换为 webdriver.FirefoxOptions()。以下是完整代码：

import time
from selenium import webdriver
from fake_useragent import UserAgent

ua = UserAgent()
firefox_options = webdriver.FirefoxOptions()
firefox_options.add_argument(f'--user-agent={ua.random}')

driver = webdriver.Firefox(options=firefox_options)
driver.get("https://httpbin.org/user-agent")

time.sleep(10)
driver.quit()

4. 更顺畅访问网站的最佳实践

更改 User-Agent 的目的是防止目标网站阻止我们的访问。然而，基于 User-Agent 的阻止只是许多反抓取和反机器人措施中的一种。更常见的是，网站会设置诸如 CAPTCHA 等挑战来过滤出机器人。这些挑战通常非常复杂，极大地阻碍了网站的访问。

除了更改 User-Agent 外，还有其他一些技巧可以使您的自动化脚本更像真实用户：

1. 添加随机延迟：在页面请求之间添加随机延迟，模拟人类浏览行为
2. 模拟鼠标移动和点击：使用 Selenium 的 ActionChains 来模拟真实的鼠标行为
3. 使用代理：轮换不同的 IP 地址来避免 IP 限制
4. 启用浏览器指纹伪装：一些特殊配置可以帮助隐藏浏览器指纹
5. 处理 cookies：正确管理和处理 cookies 以维持会话状态

这些方法结合使用，可以大大提高您的自动化脚本避免检测的能力。

5. 结语

通过本文，您已经掌握了在 Selenium 中自定义 User-Agent 的方法。这不仅可以提高您的网页自动化工作的隐蔽性和可靠性，还能确保与不同网站的交互更加顺畅。无论是通过绕过简单的检测机制还是模拟用户行为，战略性地调整 User-Agent 都可能成为自动化脚本成功的关键因素。

在当今动态的数字环境中，这些实践能够显著提高您的自动化项目的效率，尤其是在需要与复杂网站交互的场景中。下一篇文章中，我们将探讨如何处理更复杂的网站保护机制，如动态加载内容和高级反爬虫技术。