小白从零开始勇闯人工智能：爬虫初级篇（Selenium库）

引言

在人工智能时代，获取数据是第一步。爬虫技术能帮我们打开网页背后的信息。对于初学者来说，Selenium是一个非常友好的入门选择------它不仅能获取网页数据，还能模拟真实用户的操作，比如点击按钮、输入文字、上传文件等。我们之前学习的requests库虽然简单高效，但它只能获取静态网页内容。现在许多网站都使用JavaScript动态加载数据，这时候就需要Selenium库了。它可以等待页面完全加载，获取渲染后的完整内容，就像你用浏览器看到的那样。

一、Selenium基础知识

1、什么是Selenium？

Selenium最初是为Web应用程序测试而生的工具。Selenium可以录制我们的操作，然后自动重复执行，就像一个不知疲倦的测试员。但既然Selenium能控制浏览器，那为什么不把它用来抓取数据呢？于是，Selenium在爬虫领域也开始应用了起来。

2、Selenium工作原理

Selenium的工作原理为：首先，我们编写的Python代码通过调用Selenium库发出指令；随后，这些指令被传递给对应浏览器的WebDriver驱动，该驱动将代码命令转换为浏览器能直接理解并执行的底层操作，最后，浏览器根据接收到的命令完成相应的网页交互。不同的浏览器需要各自专属的WebDriver程序，并且必须确保WebDriver的版本与浏览器版本严格匹配，以保证整个通信链路的顺畅和功能的正常运行。

Python代码 → Selenium库 → WebDriver驱动 → 浏览器

二、环境搭建

1、安装Selenium库

打开命令行（Windows用户按Win+R，输入cmd），输入：

pip install selenium==4.11.0 -i https://pypi.mirrors.ustc.edu.cn/simple/

2、下载浏览器驱动

先查看浏览器版本：

1)、Edge浏览器：右上角三个点 → 帮助和反馈 → 关于Microsoft Edge

2)、Chrome浏览器：右上角三个点 → 帮助 → 关于Google Chrome

下载地址：

Edge驱动：https://developer.microsoft.com/en-us/microsoft-edge/tools/webdriver/

Chrome驱动：https://chromedriver.storage.googleapis.com/index.html

Firefox驱动：https://github.com/mozilla/geckodriver/releases

3、配置驱动路径

Windows把下载的msedgedriver.exe（Edge）或chromedriver.exe（Chrome）放到Python安装目录的Scripts文件夹里，也可以者任何位置，但要在代码中指定完整路径。

4、验证安装是否成功

创建一个测试文件：如果看到浏览器自动打开并显示百度页面，则代表环境配置成功。

from selenium import webdriver
from selenium.webdriver.edge.options import Options

edge_options = Options()
edge_options.binary_location = r"C:\Program Files (x86)\Microsoft\Edge\Application\msedge.exe"
driver = webdriver.Edge(options=edge_options)
driver.get('https://www.baidu.com')
print("浏览器已成功打开！")
input("按回车键关闭浏览器...")
driver.quit()

三、Selenium基础操作

1、打开你的第一个网页

使用Selenium进行网页自动化操作时，首先需要从selenium库中导入webdriver模块以及针对特定浏览器（如Edge）的配置选项Options，并通过binary_location参数指定浏览器程序的准确路径来初始化浏览器选项。接着，利用配置好的选项创建并启动对应的WebDriver实例，该实例会控制一个真实的浏览器窗口；随后，调用driver.get()方法导航至目标网址，并使用time.sleep()短暂暂停以便观察页面加载效果；最后，为确保资源释放，必须调用driver.quit()方法来完全关闭浏览器及相关的驱动程序。

from selenium import webdriver
from selenium.webdriver.edge.options import Options
import time

# 创建浏览器选项
edge_options = Options()
edge_options.binary_location = r"C:\Program Files (x86)\Microsoft\Edge\Application\msedge.exe"

# 启动浏览器
driver = webdriver.Edge(options=edge_options)

# 访问网页
driver.get('https://www.baidu.com')

# 等待5秒，看看效果
time.sleep(5)

# 关闭浏览器
driver.quit()

2、同时打开多个标签页

在Selenium中，可以通过执行JavaScript代码实现同时打开并管理多个标签页，首先配置并启动Edge浏览器驱动，使用driver.get()方法打开初始网页；随后，利用driver.execute_script()执行window.open()函数在新标签页中依次打开其他指定网址。通过driver.window_handles可以获取所有标签页的窗口句柄，并使用driver.switch_to.window()方法切换到目标标签页进行后续操作，从而实现在同一浏览器中同时打开多个网页的效果。

from selenium import webdriver
from selenium.webdriver.edge.options import Options

edge_options = Options()
edge_options.binary_location = r"C:\Program Files (x86)\Microsoft\Edge\Application\msedge.exe"
driver = webdriver.Edge(options=edge_options)

# 先打开百度
driver.get('https://www.baidu.com')

# 在新标签页中打开B站
driver.execute_script("window.open('https://www.bilibili.com','_blank');")

# 再打开一个学习网站
driver.execute_script("window.open('https://www.shuyishe.com','_blank');")

# 获取所有标签页的句柄
handles = driver.window_handles
print(f"当前打开了 {len(handles)} 个标签页")

# 切换到第二个标签页（B站）
driver.switch_to.window(handles[1])
print("现在显示的是B站页面")

input("按回车键关闭所有页面...")
driver.quit()

3、获取网页源代码

在Selenium中，获取网页源代码首先要配置并启动Edge浏览器驱动并导航至目标网页，随后通过driver.page_source属性即可获取浏览器当前已渲染完成的完整HTML代码，可以对其内容进行查看或将其保存到本地文件，最后通过driver.quit()关闭浏览器。

from selenium import webdriver
from selenium.webdriver.edge.options import Options

edge_options = Options()
edge_options.binary_location = r"C:\Program Files (x86)\Microsoft\Edge\Application\msedge.exe"
driver = webdriver.Edge(options=edge_options)

driver.get('https://www.baidu.com')

# 获取渲染后的完整HTML代码
html_source = driver.page_source

# 查看前1000个字符
print(html_source[:1000])

# 保存到文件
with open('baidu_page.html', 'w', encoding='utf-8') as f:
    f.write(html_source)

driver.quit()

四、网页交互

1、在搜索框输入文字

通过Selenium在网页搜索框中输入文字首先要配置并启动Edge浏览器驱动，并导航至目标网页；随后，利用driver.find_element方法配合定位策略来定位页面的输入框元素；定位成功后，调用元素的send_keys方法即可将指定文本（如"Python编程"）输入到搜索框中。如果页面存在多个相似元素，则需改用find_elements获取元素列表并通过索引选取目标元素，最后通过driver.quit()关闭浏览器。

from selenium import webdriver
from selenium.webdriver.edge.options import Options
from selenium.webdriver.common.by import By

edge_options = Options()
edge_options.binary_location = r"C:\Program Files (x86)\Microsoft\Edge\Application\msedge.exe"
driver = webdriver.Edge(options=edge_options)

driver.get('https://www.bilibili.com/')

# 方法1：通过标签名找到输入框
#search_box = driver.find_element(by=By.TAG_NAME, value="input")
#search_box.send_keys("Python编程")

# 方法2：如果页面有多个input，可以用索引
driver.find_elements(by=By.TAG_NAME, value="input")[0].send_keys("Python")

input("看看输入框里是不是有文字了？按回车关闭...")
driver.quit()

2、自动搜索：输入文字并回车

通过配置并启动Edge浏览器驱动并导航至Bilibili网站后，可使用Selenium的find_element方法定位页面的输入框元素，随后调用send_keys方法在其中输入"Python教程"并组合模拟按下回车键（通过Keys.RETURN）以触发搜索。

from selenium import webdriver
from selenium.webdriver.edge.options import Options
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.common.by import By

edge_options = Options()
edge_options.binary_location = r"C:\Program Files (x86)\Microsoft\Edge\Application\msedge.exe"
driver = webdriver.Edge(options=edge_options)

driver.get('http://www.bilibili.com')

# 找到搜索框，输入Python，然后按回车
search_box = driver.find_element(by=By.TAG_NAME, value="input")
search_box.send_keys("Python教程" + Keys.RETURN)

# 等待页面加载
import time
time.sleep(3)

print("搜索完成！页面标题是：", driver.title)

driver.quit()

3、上传文件：百度识图

通过配置并启动Edge浏览器驱动并访问百度识图的上传页面后，使用Selenium的find_element方法通过By.NAME定位属性名为file的文件上传输入框元素，随后调用send_keys方法将待上传图片的完整本地路径输入至该元素，从而触发文件上传流程；上传后通过短暂等待确保识别完成，再利用By.CLASS_NAME定位到显示识别结果的元素，获取并打印其文本内容，最后就完成了从网页上传图片到获取识别结果。

from selenium import webdriver
from selenium.webdriver.edge.options import Options
from selenium.webdriver.common.by import By
import time

edge_options = Options()
edge_options.binary_location = r"C:\Program Files (x86)\Microsoft\Edge\Application\msedge.exe"
driver = webdriver.Edge(options=edge_options)

driver.get('https://graph.baidu.com/pcpage/index?tpl_from=pc')

# 方法1：通过name属性找到文件上传input
input_element = driver.find_element(by=By.NAME, value="file")

# 输入图片的完整路径（记得改成你自己的图片路径）
input_element.send_keys(r"D:\python\PythonProject1\R-C.jpg")

# 等待识别结果
time.sleep(5)

# 获取识别结果
result_element = driver.find_element(by=By.CLASS_NAME, value="graph-guess-word")
print("百度识图认为这张图片是：", result_element.text)

driver.quit()

五、定位元素大法

1、八大定位方法

八大元素定位方法中，可以通过多种策略精准定位网页上的目标元素：这包括通过唯一标识的ID、通过表单元素的NAME、通过样式的CLASS_NAME、通过HTML标签类型的TAG_NAME、通过精确或部分文本匹配链接的LINK_TEXT与PARTIAL_LINK_TEXT，以及功能强大且灵活的CSS_SELECTOR和XPATH。

# 1. 通过ID定位（最准确，但ID可能动态变化）
# driver.find_element(By.ID, "kw")

# 2. 通过NAME定位
# driver.find_element(By.NAME, "wd")

# 3. 通过CLASS_NAME定位
# driver.find_element(By.CLASS_NAME, "s_ipt")

# 4. 通过TAG_NAME定位（找特定类型的标签）
#search_box = driver.find_element(By.TAG_NAME, "input")

# 5. 通过链接文本定位（精确匹配）
# driver.find_element(By.LINK_TEXT, "新闻")

# 6. 通过部分链接文本定位（模糊匹配）
# driver.find_element(By.PARTIAL_LINK_TEXT, "新")

# 7. 通过CSS选择器定位（最灵活）
# driver.find_element(By.CSS_SELECTOR, "#kw")

# 8. 通过XPath定位（功能最强）
# driver.find_element(By.XPATH, "//input[@id='kw']")

2、find_element vs find_elements

find_element 用于定位并返回第一个匹配到的单个元素，若未找到则抛出异常；而 find_elements 则返回所有匹配元素的列表，未找到时返回空列表。例如，在获取百度首页所有链接时，可使用 find_elements 配合 By.TAG_NAME 定位所有 <a> 标签，进而统计链接总数并遍历输出前10个非空文本的链接内容。

from selenium import webdriver
from selenium.webdriver.edge.options import Options
from selenium.webdriver.common.by import By

edge_options = Options()
edge_options.binary_location = r"C:\Program Files (x86)\Microsoft\Edge\Application\msedge.exe"
driver = webdriver.Edge(options=edge_options)
driver.get('https://www.baidu.com')
# 获取百度首页的所有链接
all_links = driver.find_elements(By.TAG_NAME, "a")
print(f"首页共有 {len(all_links)} 个链接")

for i, link in enumerate(all_links[:10]):  # 只显示前10个
    text = link.text
    if text:  # 过滤空文本
        print(f"{i+1}. {text}")

通过笨重的学习我们就已经掌握了Selenium爬虫的基础知识：Selenium的基本原理和工作方式、如何配置开发环境、八大元素定位方法、与网页的各种交互操作。但记住，爬虫技术就像学游泳------光看教程是不够的，必须亲自实践。从简单的百度搜索开始，慢慢尝试更复杂的网站。