[Web自动化] 数据抓取、解析与存储

0思必得02026-01-29 8:34

9.8 数据抓取、解析与存储

9.8.1 抓取页面数据并解析

Selenium可以模拟用户操作，如点击、滚动等，从而触发页面加载更多内容。抓取数据时，通常需要先使用Selenium打开目标网页，等待页面加载完成（包括动态内容），然后获取页面的HTML源码或DOM元素。
使用BeautifulSoup、lxml等库解析HTML内容，提取所需数据

获取到页面的HTML内容后，可以使用BeautifulSoup、lxml等库来解析HTML，提取出所需的数据。这些库提供了丰富的API来查找、修改和导航HTML文档树。

示例代码（使用Selenium和BeautifulSoup抓取并解析数据）：

python 复制代码

from selenium import webdriver
from bs4 import BeautifulSoup

driver = webdriver.Chrome()
driver.get('http://example.com')

# 等待页面加载完成（可能需要显式等待）
# ...

# 获取页面源码
html = driver.page_source

# 使用BeautifulSoup解析HTML
soup = BeautifulSoup(html, 'html.parser')

# 提取数据（以提取所有链接为例）
for link in soup.find_all('a'):
print(link.get('href'))

driver.quit()

9.8.2 数据存储

将抓取的数据存储到数据库或文件中

抓取到的数据通常需要被存储起来以供后续分析或处理。常见的存储方式包括数据库和文件。

数据库 ：
MySQL、MongoDB等数据库是存储结构化数据的良好选择。它们支持复杂的查询和数据操作，适合存储大量数据。
文件：
CSV、JSON等格式的文件是存储数据的简单方式。它们易于读写，适用于数据量不是很大的情况。
示例代码（将数据存储到CSV文件）：

python 复制代码

import csv

# 假设data是一个包含数据的列表，每个元素也是一个列表或元组，代表一行数据
data = [
 ['id', 'name', 'age'],
 [1, 'Alice', 30],
 [2, 'Bob', 25],
 # ...
]

# 将数据存储到CSV文件
with open('data.csv', 'w', newline='', encoding='utf-8') as csvfile:
 writer = csv.writer(csvfile)
 writer.writerows(data)

注意：实际使用时，需要根据具体的数据结构和存储需求来选择合适的存储方式，并编写相应的代码来实现数据的存储。