Selenium 自动化高级操作与解决疑难杂症，如无法连接、使用代理等

解决 Selenium 自动化中的常见疑难杂症

这里记录一些关于 Selenium的常用操作和疑难杂症。

有一些细节的知识点就不重复介绍了，因为之前的文章中都有！

如果对本文中的知识点有疑问的，可以先阅读我以前分享的文章！

知识点📖📖

模块	链接	作用
selenium	https://www.selenium.dev/zh-cn/documentation/	支持 web 浏览器自动化的一系列工具和库的综合项目

如果有看不懂的地方，可以结合我以前的文章一起看。

• 【Selenium】控制当前已经打开的 chrome浏览器窗口

• 【Selenium】控制当前已经打开的 chrome浏览器窗口（高级版）

• Python模块psutil：系统进程管理与Selenium效率提升的完美结合

• Selenium性能优化：一文带你快速上手！

TodoList：

• 使用crx扩展插件进行代理修改（后续更新
• ...

初始化webdriver

• ChromeService 是一个Service类，负责启动和停止 chromedriver。这个进程是运行自动化脚本的基础。

• webdriver-manager 可以自动下载和管理 WebDriver 二进制文件，用于自动管理 webdriver驱动

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.chrome.service import Service as ChromeService
from webdriver_manager.chrome import ChromeDriverManager


def init_driver(options=None) -> webdriver.Chrome:
    """
    初始化浏览器驱动.

    Args:
        options(Options): chrome配置选项

    Returns:
        driver(WebDriver): 浏览器驱动对象

    """
    return webdriver.Chrome(
        service=ChromeService(ChromeDriverManager().install()),
        options=options
    )

使用代理

• 使用crx扩展插件进行代理修改（后续更新

from selenium import webdriver
from selenium.webdriver.chrome.options import Options


if __name__ == '__main__':
    options = Options()
    proxy = "http://127.0.0.1:9527"
    options.add_argument(f'--proxy-server={proxy}')
    driver = init_driver(options=options)
    driver.get('https://www.bilibili.com/')

运行结果如下：

• 可以请下的看到，所有请求的Remote Address 都是 127.0.0.1:7890

指定 Chrome 浏览器端口

启动浏览器

代码贴心的给出多项selenium 优化选项，根据需要来选择~

import subprocess


def start_chrome(browser_path, commands_list=None) -> None:
    """
    启动浏览器。

    Args:
        browser_path(str): 浏览器安装的路径
        commands_list(List[str]): 启动浏览器的命令行参数，默认为None

    Returns:
        None
    """
    commands = [browser_path]
    commands.extend(commands_list)
    # 启动浏览器
    subprocess.Popen(commands)


if __name__ == '__main__':
    # 设置浏览器的路径和启动参数
    path = r"C:\Program Files\Google\Chrome\Application\chrome.exe"
    port = 9527
    cmd_map = {
        '指定浏览器配置': r'--user-data-dir=F:\selenium',
        '指定远程调试端口': '--remote-debugging-port={}'.format(port),
        # '无头模式': '--headless',
        # '无沙盒模式': '--no-sandbox',
        # '指定页面加载策略': '--no-sandbox',
        # '禁用弹出拦': '--disable-popup-blocking',
        # '禁用图片加载': '--blink-settings=imagesEnabled=false',
        # '禁用GPU硬件加速': '--disable-gpu',
        # '禁用js': True,
    }
    start_chrome(path, list(cmd_map.values()))

连接浏览器

注意！这里Selenium WebDriver 将附加到一个已经运行的 Chrome 实例上，而不是启动一个新的浏览器实例。这意味着 WebDriver 将使用现有浏览器实例的设置，包括网络和代理配置。即无法使用上处的方法进行指定代理。

具体步骤如下：

1. 导入 Selenium 相关模块。
2. 创建 Chrome 浏览器的选项（Options）对象，并将调试端口设置为 "127.0.0.1:9527"，这意味着浏览器将连接到 Chrome 浏览器的开发者工具（DevTools）端口，以便进行远程调试。
3. 初始化 Chrome WebDriver，将上述选项传递给 WebDriver。
4. 打开 Chrome 浏览器，并连接到指定的调试端口。

from selenium import webdriver
from selenium.webdriver.chrome.options import Options


if __name__ == '__main__':
    options = Options()
    options.add_experimental_option("debuggerAddress", "127.0.0.1:9527")
    driver = webdriver.Chrome(options=options)

    url = 'https://www.bilibili.com'
    driver.get(url)
    print(driver.title)	# 哔哩哔哩 (゜-゜)つロ 干杯~-bilibili

无法连接指定端口 Chrome浏览器

在命令行中启动 Chrome 浏览器时候，不要使用 --headless ！！！会导致Selenium 无法连接。

问题复现

一般的，我们使用以下命令去指定chrome浏览器端口，--headless 可能是有意或无意添加的

[
	"--remote-debugging-port=9527",
	"--headless"
]

# 或者 命令行
chrome.exe --remote-debugging-port=9527 --user-data-dir="F:\selenium\AutomationProfile" --headless

这个时候，会发现，没有打开任何窗口。因为是无头模式！！！

在命令行执行 netstat -ano | findstr :9527，如下图所示：

现在你去访问：http://127.0.0.1:9527/json/version，可以看到下图所示：

• 这表明远程调试接口是开启的

---

但如果我们使用以下代码去连接端口为 9527 的浏览器，则会报错！！！

options.add_experimental_option("debuggerAddress", "127.0.0.1:9527")
driver = webdriver.Chrome(options=options)

如果没有意外！则会抛出以下异常：

selenium.common.exceptions.WebDriverException: Message: unknown error: cannot connect to chrome at 127.0.0.1:9527
from unknown error: unable to discover open pages

这个问题其实是不应该发生的！！！

因为 无头模式 可能改变了与调试接口的交互方式或者其他相关配置，从而影响到了 Selenium 的连接。

---

如何解决

杀死全部的9527端口的进程，并注意在命令行中启动 Chrome 浏览器时候，不要使用 --headless。

这个命令的目的是终止在指定端口上运行的进程，以便释放端口并停止与之相关的应用程序。请注意，使用 taskkill 命令会强制终止进程，因此要小心使用，以免意外终止重要的进程。

这个时候，我们需要在命令行执行以下命令，作用是终止在端口 9527 上运行的进程。（详细解释看下面）

1. netstat -ano | findstr :9527：这部分命令用于查找在端口 9527 上运行的进程的 PID。netstat 列出了所有网络连接，而 findstr :9527 过滤出包含端口 9527 的行，显示它们的 PID。

2. for /f "tokens=5" %a in (...) do ...：for 命令用于处理上述命令的输出。它将提取 netstat 输出中的 PID，并将其存储在 %a 变量中。

3. taskkill /F /PID %a：一旦 PID 被提取并存储在 %a 中，taskkill 命令将使用这个 PID 终止相关进程。

for /f "tokens=5" %a in ('netstat -ano ^| findstr :9527') do taskkill /F /PID %a

---

kill PID

for /f "tokens=5" %a in ('netstat -ano ^| findstr :9527') do taskkill /F /PID %a

这段命令是一个用于在 Windows 命令提示符中终止在特定端口（9527）上运行的进程的复合命令。下面是这个命令的解释：

1. for /f "tokens=5" %a in ('netstat -ano ^| findstr :9527') do ...：这部分命令使用 for 循环来处理输出结果。它的作用是执行以下操作：

   • for /f：这表示使用 for 命令来进行循环迭代。
   • "tokens=5"：这指定了循环要提取的令牌（token），在这里我们提取第五个令牌。在这个上下文中，第五个令牌是 netstat 输出中的进程标识符（PID）。
   • %a：这是一个变量，用于存储从 netstat 命令输出中提取的 PID。

2. ('netstat -ano ^| findstr :9527')：这部分是在 for 命令内部的命令，它会产生一系列数字，这些数字代表在端口 9527 上运行的进程的 PID。它的工作步骤如下：

   • netstat -ano：这部分执行 netstat 命令，用于列出所有活动网络连接及其相关信息。-ano 标志告诉 netstat 显示所有连接的详细信息，并显示每个连接的 PID。
   • ^|：这是一个管道符号 |，用于将 netstat 的输出传递给下一个命令，即 findstr。
   • findstr :9527：这部分命令用于过滤 netstat 输出，只保留包含端口号 9527 的行，这些行包括了我们关心的进程信息。

3. taskkill /F /PID %a：一旦 for 循环提取了 netstat 输出中的 PID（存储在 %a 中），这部分命令使用 taskkill 命令来终止这些进程。具体地：

   • taskkill：这是用于终止进程的命令。
   • /F：这是 taskkill 的标志，表示要强制终止进程，即无需用户确认。
   • /PID %a：这是指定要终止的进程的 PID，其中 %a 包含了在 for 循环中提取的 PID。

因此，整个命令的作用是找到所有在端口 9527 上运行的进程的 PID，然后使用 taskkill 命令将它们终止掉。这可以帮助我们清除特定端口上的活动进程。需要注意使用此命令，以免终止不必要的进程。

未完待续

将持续更新，常见的Selenium的操作 和 疑难杂症等！