使用Selenium和bs4进行Web数据爬取和自动化(爬取掘金首页文章列表)

冷月半明2023-09-17 19:19

引言： Web 数据爬取和自动化已成为许多互联网应用程序的重要组成部分。本文将介绍如何使用 Python 中的两个强大库，即 Selenium 和 Beautiful Soup，来实现自动化操作、网页数据提取以及网页内容分析。我们将详细探讨以下关键知识点：

安装和使用Selenium

本文是在python环境下使用selenium，使用浏览器是火狐，系统是win10系统。

python环境的配置这里就不多说了

selenium安装：pip install selenium

Driver安装：github.com/mozilla/gec...

环境配置与验证：

找到Pythonx.x -> Scripts 并将Driver内核放到这里.

验证：

ini 复制代码 
# 创建一个 Firefox 浏览器的实例
from selenium import webdriver
browser = webdriver.Firefox()

运行后成功弹出一个浏览器就表示配置成功.

1. 创建浏览器实例

要使用 Selenium，首先需要创建一个浏览器实例。Selenium 支持多种浏览器，如 Chrome、Firefox、Edge 等。以下是一个创建 Firefox 浏览器实例的示例代码：

ini 复制代码 
from selenium import webdriver

# 创建 Firefox 浏览器实例
driver = webdriver.Firefox()

2. 打开和访问网页

创建了浏览器实例后，接下来我们可以使用 get() 方法打开和访问指定的网页：

csharp 复制代码 
# 打开指定网页
driver.get("https://example.com")

3. find_element() 方法

find_element() 方法是 Selenium 中用于定位元素的主要方法之一。它可以根据不同的定位方式来查找页面上的元素，然后返回一个 WebElement 对象，我们可以对这个对象执行各种操作。

早期的selenium提供了针对id、name、xpath等多种方式的具体方法来定位到具体的元素，比如find_element_by_id()、find_element_by_name()等，在后续的升级中，这些方法被弃用了，现在统一使用find_element(by=By.ID, value=None)方法，该方法包含了id、name、xpath等定位方式

参数说明

  • by：指定按照对应的方式来定位元素，可以使用以下几种方式：

    • By.ID：根据元素的 id 属性来定位元素。
    • By.NAME：根据元素的 name 属性来定位元素。
    • By.CLASS_NAME：根据元素的 class 属性指定的值来查找元素。
    • By.CSS_SELECTOR：根据 CSS 选择器的方式来查找元素。
    • By.XPATH：根据 XPath 表达式来查找元素。
    • By.LINK_TEXT：查找文本精确匹配的 < a > 标签元素。
    • By.PARTIAL_LINK_TEXT：查找文本模糊匹配的 < a > 标签元素。
    • By.TAG_NAME：根据标签名称来查找元素，不太常用。

  • value：元素位置，字符串类型。具体取决于定位方式的选择。

使用示例

以下是使用 find_element() 方法的一些示例：

根据 ID 定位元素

ini 复制代码 
element_by_id = driver.find_element(By.ID, "element_id")

根据名称定位元素

ini 复制代码 
element_by_name = driver.find_element(By.NAME, "element_name")

根据 CSS 选择器定位元素

ini 复制代码 
element_by_css = driver.find_element(By.CSS_SELECTOR, ".element_class")

根据 XPath 表达式定位元素

css 复制代码 
element_by_xpath = driver.find_element(By.XPATH, "//div[@class='example']")

注意事项

  • 不同的定位方式适用于不同的场景，选择合适的方式取决于页面的结构和元素的特点。
  • 在选择定位方式时，可以考虑元素的唯一性和稳定性，优先选择 id、name、class 等唯一标识元素的方式。
  • XPath 虽然功能强大，但性能相对较慢，应谨慎使用。
  • 在实际应用中，可以结合使用多种定位方式来确保准确性和稳定性。

通过 find_element() 方法，我们可以定位到页面上的元素，然后进行各种交互和操作，从而实现自动化测试或数据爬取的目标。选择合适的定位方式和元素定位的精确性非常重要，这将影响到自动化操作的稳定性和可靠性。

4. 等待页面元素加载

有时，网页上的元素需要一些时间才能加载完成。Selenium 提供了等待机制，可以等待特定的元素出现或满足特定条件。这有助于处理动态加载的内容。

python 复制代码 
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

# 显式等待，等待元素出现
element = WebDriverWait(driver, 10).until(
    EC.presence_of_element_located((By.ID, "element_id"))
)

5. 切换窗口和框架

在多窗口或嵌套框架的情况下，Selenium 允许你轻松切换窗口和框架。这对于处理复杂的网页结构非常有用。

python 复制代码 
# 切换到新窗口
driver.switch_to.window(driver.window_handles[1])

# 切换到 iframe 框架
driver.switch_to.frame("frame_name")

6. 执行 JavaScript 代码

有时候，你可能需要在页面上执行 JavaScript 代码。Selenium 允许你使用 execute_script() 方法来执行 JavaScript。

python 复制代码 
# 执行 JavaScript 代码，滚动到页面底部
driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")

7. 处理弹出框

网页中的弹出框（警告框、确认框、提示框）是常见的交互元素。Selenium 提供了 switch_to.alert 来处理这些弹出框。

python 复制代码 
alert = driver.switch_to.alert
alert.accept()  # 接受弹出框

在 Selenium 中，处理和管理 Cookies 是非常重要的，特别是在需要模拟登录状态或保持用户会话的情况下。本节将介绍如何使用 Selenium 来获取、保存和加载 Cookies，以及如何利用 Cookies 实现自动登录。

使用 Selenium 保存和加载 Cookies

1. 获取 Cookies 信息

要获取当前页面的 Cookies 信息，可以使用 get_cookies() 方法。该方法返回一个包含所有 Cookies 的列表，每个 Cookie 都是一个字典。

python 复制代码 
# 获取当前页面的所有 cookie 信息(返回是字典)
cookies = driver.get_cookies()

2. 保存 Cookies 到本地文件

获取 Cookies 后，我们可以将它们保存到本地文件，以备后续使用。这可以使用 Python 的文件操作来实现。

python 复制代码 
import json

# 将字典形式的 cookies 转换成 JSON 格式的字符串
json_cookies = json.dumps(cookies)

# 将 JSON 格式的 cookies 写入到本地文件
with open("cookies.json", "w") as file:
    file.write(json_cookies)

3. 从本地文件加载 Cookies

当需要使用之前保存的 Cookies 时，可以从本地文件加载它们，并将其添加到浏览器中。这可以帮助我们恢复之前的会话状态。

python 复制代码 
import json

# 从本地文件加载 JSON 格式的 cookies
with open("cookies.json", "r") as file:
    json_cookies = file.read()

# 将 JSON 格式的 cookies 转换成字典形式
cookies = json.loads(json_cookies)

# 将加载的 cookies 添加到浏览器中
for cookie in cookies:
    driver.add_cookie(cookie)

4. 利用 Cookies 进行自动登录

通过将保存的 Cookies 加载到浏览器中，我们可以实现自动登录网站，而无需重新输入用户名和密码。

python 复制代码 
# 打开需要登录的网页
driver.get("https://example.com/login")

# 加载之前保存的 cookies
for cookie in cookies:
    driver.add_cookie(cookie)

# 刷新页面，已加载的 cookies 将自动登录
driver.refresh()

这样，我们可以利用保存和加载 Cookies 的功能，实现自动登录和保持用户会话状态，从而更轻松地进行网站数据爬取和自动化操作。当需要模拟登录状态时，这是一个非常有用的技巧。

使用 Beautiful Soup 解析 HTML 内容

1. 安装和导入 Beautiful Soup

首先，确保你已经安装了 Beautiful Soup 库。你可以使用以下命令来安装：

bash 复制代码 
pip install beautifulsoup4

然后，在 Python 代码中导入 Beautiful Soup：

python 复制代码 
from bs4 import BeautifulSoup

2. 解析 HTML 页面

使用 Beautiful Soup 解析 HTML 页面通常需要两个步骤：

步骤 1：创建 BeautifulSoup 对象

将 HTML 页面的内容传递给 BeautifulSoup 构造函数，以创建一个 BeautifulSoup 对象：

python 复制代码 
# 创建 BeautifulSoup 对象
soup = BeautifulSoup(html_content, 'html.parser')

其中，html_content 是包含 HTML 页面内容的字符串。

步骤 2：解析 HTML 树

通过创建的 BeautifulSoup 对象，你可以轻松地遍历和操作 HTML 树。

3. 搜索和提取数据

Beautiful Soup 提供了多种方法来搜索和提取 HTML 中的数据，包括标签、属性和文本。以下是一些常用的方法：

查找单个元素

  • find(tag, attributes) ：查找指定标签的第一个元素。
  • find_all(tag, attributes) ：查找所有符合条件的元素，并返回一个列表。

示例：

python 复制代码 
# 查找第一个 <div> 标签
div_tag = soup.find('div')

# 查找所有 <a> 标签
a_tags = soup.find_all('a')

获取标签属性

可以使用 get() 方法来获取元素的属性值：

python 复制代码 
# 获取 <a> 标签的 href 属性值
href_value = a_tag.get('href')

获取文本内容

使用 text 属性来获取元素的文本内容：

python 复制代码 
# 获取 <p> 标签的文本内容
text_content = p_tag.text

4. 遍历和导航 HTML 树

Beautiful Soup 允许你遍历和导航 HTML 树，访问元素的子元素和父元素。以下是一些常用的方法：

遍历子元素

  • contents 属性：获取所有子元素的列表。
  • children 属性：获取子元素的迭代器。

示例：

python 复制代码 
# 获取所有子元素的列表
children = parent_element.contents

# 遍历子元素
for child in parent_element.children:
    print(child)

导航父元素

  • parent 属性：获取父元素。

示例：

python 复制代码 
# 获取父元素
parent = element.parent

5. 进行数据过滤和筛选

Beautiful Soup 还提供了强大的数据过滤和筛选功能，可以帮助你找到符合特定条件的元素。以下是一些方法：

根据 CSS 类名筛选元素

python 复制代码 
# 查找具有特定类名的元素
elements = soup.find_all(class_='example-class')

根据属性值筛选元素

python 复制代码 
# 查找具有特定属性值的元素
elements = soup.find_all(attrs={'data-name': 'example'})

使用正则表达式筛选元素

python 复制代码 
import re
# 使用正则表达式查找元素
elements = soup.find_all(text=re.compile('example'))

实例演示 使用Selenium和bs4爬取掘金首页文章列表

下面将演示一下如何使用 selenium 和 bs4 登录掘金并爬取首页文章列表的标题和url.

首先获取cookie：

Python 复制代码 
def get_cookie():
    # 创建一个 Firefox 浏览器的实例
    driver = webdriver.Firefox()
    # 打开指定网页
    driver.get('https://juejin.cn/')
    # 暂停程序执行，等待一段时间（60秒），以确保网页加载完全
    time.sleep(30)
    # 获取当前页面的所有 cookie 信息，并将其存储为字典
    dictCookies = driver.get_cookies()
    # 将字典形式的 cookies 转换成 JSON 格式的字符串
    jsonCookies = json.dumps(dictCookies)
    print(jsonCookies)

    # 将 JSON 格式的 cookies 写入到名为 "cookies_juejin.json" 的文件中
    with open("cookies_juejin.json", "w") as fp:
        fp.write(jsonCookies)
    # 关闭浏览器
    driver.quit()

在睡眠的30秒内我们要手动登录页面，这样浏览器里就能存入我们的cookie信息了，接着将cookie信息保存至本地，以方便以后读取cookie用以实现自动登录.

加载页面并登录

Python 复制代码 
# 创建一个 Firefox 浏览器的实例
browser = webdriver.Firefox()
# 打开指定网页
browser.get("https://juejin.cn/?utm_source=gold_browser_extension")
# 删除当前浏览器中的所有 cookie 信息
# browser.delete_all_cookies()
# 从名为 "cookies_juejin.json" 的文件中读取之前保存的 JSON 格式的 cookies
with open('cookies_juejin.json', 'r', encoding='utf-8') as f:
    listCookies = json.loads(f.read())
# 将读取到的 cookies 添加到当前浏览器中
for cookie in listCookies:
    browser.add_cookie(cookie)
# 再次访问网页，这次将包含之前保存的 cookie 信息，实现自动登录
browser.refresh()
# 等待页面加载完成（可以根据实际情况调整等待时间）
time.sleep(5)

特别强调 ：time.sleep(5) 很重要！很重要！很重要！ 因为很多网站的内容是异步加载的，当你网速较差的情况下就会出现请求还没返还结果，程序就已经开始执行下一步了，以至于程序获得的html代码和你手动登录看到的不一样.导致页面结构不同，查找元素时会出现问题.

就例如下面这段代码，当我不执行time.sleep(5)而直接执行gethtml（）就会发生输出为空的情况，但多试几次后偶尔能成功找到元素.这就是受网速影响导致元素还没加载就被程序获取页面代码的原因.

Python 复制代码 
def gethtml():
    # 获取网页源代码
    page_source = browser.page_source
    # 使用 BeautifulSoup 解析源代码
    soup = BeautifulSoup(page_source, 'html.parser')
    # print(soup)
    # print(soup.select('.entry-list .item .entry .content-wrapper .content-main .title-row'))
    for child in  soup.select('.content-wrapper .content-main .title-row'):
        # print(child)
        print(child.find('a')['href'],child.find('a').text)

上述代码使用bs4里的类选择器去进行筛选标签，最后遍历数组.

显示等待

当然我们也可以用显示等待的方式来解决这个问题，毕竟5s固定等待时长收网速影响未必能达到效果. 显式等待是 Selenium 中一种高级等待技术，它允许你等待特定条件满足后再继续执行后续的操作。相对于隐式等待（Implicit Wait），显式等待更加灵活，可以在等待的过程中定义等待的条件，例如等待某个元素出现、可点击、可见，或者满足自定义的条件。

显式等待的一般步骤如下：

  1. 导入 WebDriverWait 类和 ExpectedConditions（EC）模块。
  2. 创建 WebDriverWait 对象，传入 WebDriver 对象和最长等待时间（以秒为单位）作为参数。
  3. 使用 until() 方法指定等待的条件，直到条件满足或超时为止。
python 复制代码 
element = WebDriverWait(driver, 10).until(
    EC.presence_of_element_located((By.ID, "element_id"))
)
  • WebDriverWait(driver, 10)：创建了一个 WebDriverWait 对象，等待时间为 10 秒。
  • EC.presence_of_element_located((By.ID, "element_id"))：指定等待条件为元素出现，使用 ID 定位方式，元素的 ID 是 "element_id"。

通过以上代码，WebDriver 会等待最长 10 秒，直到页面中具有 ID 为 "element_id" 的元素出现，然后将该元素赋值给 element 变量。

这样，你可以确保在继续执行后续操作之前，等待特定的元素加载完成.这样再使用bs4查找目标元素就不会受网速影响出错了.

运行结果演示图：

相关推荐
dundunmm6 分钟前
机器学习之scikit-learn（简称 sklearn）
python·算法·机器学习·scikit-learn·sklearn·分类算法
古希腊掌管学习的神7 分钟前
[机器学习]sklearn入门指南（1）
人工智能·python·算法·机器学习·sklearn
一道微光20 分钟前
Mac的M2芯片运行lightgbm报错,其他python包可用，x86_x64架构运行
开发语言·python·macos
四口鲸鱼爱吃盐1 小时前
Pytorch | 利用AI-FGTM针对CIFAR10上的ResNet分类器进行对抗攻击
人工智能·pytorch·python
是娜个二叉树！1 小时前
图像处理基础 | 格式转换.rgb转.jpg 灰度图 python
开发语言·python
互联网杂货铺1 小时前
Postman接口测试：全局变量/接口关联/加密/解密
自动化测试·软件测试·python·测试工具·职场和发展·测试用例·postman
南七澄江2 小时前
各种网站（学习资源及其他）
开发语言·网络·python·深度学习·学习·机器学习·ai
无泡汽水3 小时前
漏洞检测工具：Swagger UI敏感信息泄露
python·web安全
暮暮七3 小时前
理想很丰满的Ollama-OCR
linux·python·大模型·ocr·markdown·ollama
热门推荐
01【一文读懂】NTN（非地面网络）技术介绍02优化手机性能，解决卡顿问题：关闭这3个微信开关，释放内存空间03玄机平台应急响应—webshell查杀04Cube-Studio：开源大模型全链路一站式中台05基于大语言模型（LLM）的合成数据生成、策展和评估的综述06(欧拉)openEuler系统添加网卡文件配置流程、(欧拉)openEuler系统手动配置ipv6地址流程、(欧拉)openEuler系统网络管理说明07组基轨迹建模 GBTM的介绍与实现（Stata 或 R）08HCIA-datacom数通题库和录播视频资料09Docker 夺命连环 15 问10ARM学习（31）编译器对overlay方式的支持