【爬虫基础】自动化工具 Selenium 的使用

目录

前言

[Selenium 的基本使用](#Selenium 的基本使用)

[(1)使用 Selenium 打开网页](#(1)使用 Selenium 打开网页)

[(2)使用 Selenium 模拟登录](#(2)使用 Selenium 模拟登录)

[(3)使用 Selenium 模拟翻页](#(3)使用 Selenium 模拟翻页)

[Selenium 的进阶使用](#Selenium 的进阶使用)

[(1)使用 Chrome 开发者模式](#(1)使用 Chrome 开发者模式)

(2)添加代理

(3)使用无头浏览器

总结


前言

Selenium 是一个开源的自动化测试工具,支持各种浏览器,并且可以模拟用户对浏览器的各种操作。在爬虫开发中,Selenium 可以用来模拟人类用户的点击、输入等行为,从而实现自动化爬取网页的目的。

Selenium 的基本使用

在使用 Selenium 之前,需要先安装 Selenium 库和对应的浏览器驱动。Selenium 可以支持多种浏览器,每种浏览器需要下载对应的浏览器驱动。安装方法可以参考官方文档:https://www.selenium.dev/documentation/en/getting_started_with_webdriver/browsers/

(1)使用 Selenium 打开网页

下面是使用 Selenium 打开百度首页的代码:

python 复制代码
from selenium import webdriver

# 打开浏览器
browser = webdriver.Chrome()

# 打开百度首页
url = 'https://www.baidu.com/'
browser.get(url)

# 关闭浏览器
browser.quit()

其中,webdriver.Chrome() 表示使用 Chrome 浏览器,如果要使用其他浏览器,则需要更改这里的代码。browser.get(url) 表示打开网页。最后使用 browser.quit() 关闭浏览器。

(2)使用 Selenium 模拟登录

下面是使用 Selenium 模拟登录知乎的代码:

python 复制代码
from selenium import webdriver

username = 'your_username'
password = 'your_password'

# 打开浏览器
browser = webdriver.Chrome()

# 打开知乎登录页面
url = 'https://www.zhihu.com/signin'
browser.get(url)

# 输入用户名和密码
input_name = browser.find_element_by_xpath('//*[@id="root"]/div/main/div/div/div/div[1]/div[2]/div/form/div[1]/div[2]/div[1]/input')
input_name.send_keys(username)
input_password = browser.find_element_by_xpath('//*[@id="root"]/div/main/div/div/div/div[1]/div[2]/div/form/div[1]/div[2]/div[2]/input')
input_password.send_keys(password)

# 点击登录按钮
btn_submit = browser.find_element_by_xpath('//*[@id="root"]/div/main/div/div/div/div[1]/div[2]/div/form/button')
btn_submit.click()

# 关闭浏览器
browser.quit()

其中,find_element_by_xpath() 方法可以根据 XPath 获取元素,send_keys() 方法可以输入文本,click() 方法可以模拟点击。这里只是一个简单的示例,实际网站可能需要更复杂的操作。

(3)使用 Selenium 模拟翻页

下面是使用 Selenium 模拟翻页豆瓣电影 TOP250 的代码:

python 复制代码
from selenium import webdriver

# 打开浏览器
browser = webdriver.Chrome()

# 打开豆瓣电影 TOP250
url = 'https://movie.douban.com/top250'
browser.get(url)

# 获取下一页按钮
btn_next = browser.find_element_by_xpath('//*[@id="content"]/div/div[1]/div[2]/a[3]')

# 翻页
while True:
    # 获取所有电影信息
    movies = browser.find_elements_by_xpath('//*[@id="content"]/div/div[1]/ol/li/div/div[2]/div[1]/a/span[1]')

    # 输出电影名称
    for movie in movies:
        print(movie.text)

    # 判断是否到达最后一页
    if btn_next.get_attribute('class') == 'next':
        btn_next.click()
    else:
        break

# 关闭浏览器
browser.quit()

其中,find_elements_by_xpath() 方法可以获取多个元素,get_attribute() 方法可以获取元素的属性。这里使用了一个 while 循环来不断翻页,直到到达最后一页为止。

Selenium 的进阶使用

除了基本使用外,Selenium 还有一些进阶的用法,例如使用 Chrome 开发者模式、添加代理、使用无头浏览器等。

(1)使用 Chrome 开发者模式

Chrome 开发者模式可以让开发者更方便地进行调试和测试,其中就包括了 Selenium 的自动化测试。使用 Chrome 开发者模式可以更直接地获取元素的 XPath 或 CSS Selector 等信息,以便 Selenium 使用。

使用方式如下:

python 复制代码
from selenium import webdriver

# 打开 Chrome 开发者模式
options = webdriver.ChromeOptions()
options.add_experimental_option('debuggerAddress', '127.0.0.1:9222')
browser = webdriver.Chrome(options=options)

# 获取页面元素
# ...

# 关闭浏览器
browser.quit()

其中,'debuggerAddress': '127.0.0.1:9222' 表示使用 Chrome 开发者模式,9222 是 Chrome 调试的端口号。使用 Chrome 开发者模式后,浏览器会自动打开并进入调试模式,此时可以直接在浏览器中操作获取元素的 XPath 或 CSS Selector 等信息。

(2)添加代理

在爬虫开发中可能需要使用代理来爬取一些需要登录或者限制 IP 的网站。Selenium 可以方便地使用代理,只需要在 ChromeOptions 中设置即可。

使用方式如下:

python 复制代码
from selenium import webdriver

proxy = '127.0.0.1:8080'

# 设置代理
options = webdriver.ChromeOptions()
options.add_argument('--proxy-server=http://' + proxy)
browser = webdriver.Chrome(options=options)

# 获取页面元素
# ...

# 关闭浏览器
browser.quit()

其中,'--proxy-server=http://' + proxy 表示设置代理服务器的地址和端口号,此处的 proxy 可以是一个 IP 地址或者域名。

(3)使用无头浏览器

在爬虫开发中,有时候不需要真正地打开浏览器,只需要获取网页源码即可。这时候可以使用无头浏览器,它可以在后台执行并获取网页源码,不会弹出浏览器窗口。

使用方式如下:

python 复制代码
from selenium import webdriver

# 使用无头浏览器
options = webdriver.ChromeOptions()
options.add_argument('--headless')
options.add_argument('--disable-gpu')
browser = webdriver.Chrome(options=options)

# 获取页面源码
url = 'https://www.baidu.com/'
browser.get(url)
page_source = browser.page_source

# 关闭浏览器
browser.quit()

其中,'--headless' 表示使用无头浏览器,'--disable-gpu' 表示禁用 GPU 加速。使用无头浏览器后,需要使用 browser.page_source 属性获取页面源码。

总结

以上就是 Selenium 的基本使用和进阶用法,Selenium 可以方便地模拟用户行为,实现自动化爬取网页的目的。当然,使用 Selenium 也有一些缺点,例如速度较慢、需要占用较多的系统资源等,使用时需要注意。

相关推荐
明月清风徐徐25 分钟前
Scrapy爬取豆瓣电影Top250排行榜
python·selenium·scrapy
小han的日常29 分钟前
接口自动化环境搭建
运维·自动化
abments1 小时前
JavaScript逆向爬虫教程-------基础篇之常用的编码与加密介绍(python和js实现)
javascript·爬虫·python
小白学大数据7 小时前
Python爬虫开发中的分析与方案制定
开发语言·c++·爬虫·python
数据小小爬虫8 小时前
如何用Java爬虫“偷窥”淘宝商品类目API的返回值
java·爬虫·php
yaosheng_VALVE10 小时前
稀硫酸介质中 V 型球阀的材质选择与选型要点-耀圣
运维·spring cloud·自动化·intellij-idea·材质·1024程序员节
幸运的星竹11 小时前
使用pytest+openpyxl做接口自动化遇到的问题
python·自动化·pytest
B站计算机毕业设计超人13 小时前
计算机毕业设计Python+大模型农产品价格预测 ARIMA自回归模型 农产品可视化 农产品爬虫 机器学习 深度学习 大数据毕业设计 Django Flask
大数据·爬虫·python·深度学习·机器学习·课程设计·数据可视化
single_ffish13 小时前
XPath:网络爬虫中的数据提取利器
爬虫·python
abments16 小时前
JavaScript逆向爬虫教程-------基础篇之JavaScript密码学以及CryptoJS各种常用算法的实现
javascript·爬虫·密码学