【爬虫入门第5讲】Python爬虫文本解析详解

Python爬虫数据提取：从入门到精通（lxml、BeautifulSoup、正则表达式全解析）

一、引言

在数据驱动的时代，网络爬虫是获取公开数据的重要工具。而爬虫的核心环节之一，便是数据提取 ------从杂乱的HTML/XML文档中精准抓取所需信息。Python生态提供了多种强大的解析库，本文将深入讲解lxml 、BeautifulSoup4 和re（正则表达式） 三大工具，并对比XPath 、CSS选择器 和正则匹配的适用场景，助你成为数据提取高手。

二、准备工作：安装与基础环境

bash 复制代码

pip install lxml beautifulsoup4 requests

lxml：高性能XML/HTML解析器，支持XPath和CSS选择器（通过cssselect扩展）。
beautifulsoup4：易用的HTML/XML解析库，可搭配多种解析器（如html.parser、lxml）。
re：Python内置正则模块，无需安装。

测试用HTML示例（保存为sample.html）：

html 复制代码

<!DOCTYPE html>
<html>
<title>商品列表</head>
<body>
<div class="products">
<div class="item" data-id="101">
Python编程入门
¥39.9
适合初学者的经典教材
</div>
<div class="item" data-id="102">
数据科学实战
¥59.9
涵盖机器学习与数据分析
</div>
<div class="item" data-id="103">
网络爬虫开发
¥49.9
从基础到进阶的爬虫指南
</div>
</div>
©2026 示例网站
</body>
</html>

三、BeautifulSoup4：新手友好的选择

3.1 基本用法

python 复制代码

from bs4 import BeautifulSoup

with open('sample.html', 'r', encoding='utf-8') as f:
    soup = BeautifulSoup(f, 'lxml')  # 推荐使用lxml解析器，速度快

# 获取标题
print(soup.title.string)  # 商品列表

# 查找第一个class为"name"的元素
first_name = soup.find('h2', class_='name')
print(first_name.text)  # Python编程入门

# 查找所有商品项
items = soup.find_all('div', class_='item')
for item in items:
    name = item.find('h2', class_='name').text
    price = item.find('span', class_='price').text
    print(f'{name}: {price}')

3.2 CSS选择器（通过`.select()`）

BeautifulSoup支持CSS选择器，语法简洁直观：

python 复制代码

# 选择所有class为"item"的div
items = soup.select('div.item')
# 选择第一个商品名称
first_name = soup.select_one('div.item h2.name').text
# 选择所有价格
prices = [span.text for span in soup.select('span.price')]
# 属性选择器：选择data-id为102的商品
item_102 = soup.select_one('div[data-id="102"]')
print(item_102.select_one('h2').text)  # 数据科学实战

3.3 常用方法总结

方法	说明	示例
`find(name, attrs)`	返回第一个匹配元素	`soup.find('div', class_='item')`
`find_all(name, attrs)`	返回所有匹配元素列表	`soup.find_all('span', class_='price')`
`select(css_selector)`	CSS选择器，返回列表	`soup.select('div.item > h2')`
`select_one(css_selector)`	CSS选择器，返回第一个	`soup.select_one('.price')`
`get_text()` / `.text`	获取元素文本	`element.text`
`get('attr')`	获取属性值	`tag.get('data-id')`

优点：API友好，容错性强，适合初学者和结构不规范的HTML。

缺点：速度略慢于lxml（但通常可接受）。

四、lxml：高性能与XPath的完美结合

4.1 解析HTML

python 复制代码

from lxml import etree

with open('sample.html', 'r', encoding='utf-8') as f:
	tree = etree.HTML(f.read())  # 返回Element对象

4.2 XPath语法详解

XPath是lxml的核心优势，路径表达式强大灵活：

python 复制代码

# 获取所有商品名称
names = tree.xpath('//div[@class="item"]/h2[@class="name"]/text()')
print(names)  # ['Python编程入门', '数据科学实战', '网络爬虫开发']

# 获取所有价格（去除¥符号）
prices = tree.xpath('//span[@class="price"]/text()')
prices_clean = [p.replace('¥', '') for p in prices]

# 获取第二个商品的描述
desc = tree.xpath('(//div[@class="item"])/p[@class="desc"]/text()')
print(desc)  # 涵盖机器学习与数据分析

# 获取所有data-id属性值
ids = tree.xpath('//div[@class="item"]/@data-id')
print(ids)  # ['101', '102', '103']

# 使用谓语条件：选择价格大于50的商品（需要数值比较）
# 注意：XPath 1.0不支持直接比较字符串数字，需用number()转换
expensive = tree.xpath('//div[@class="item"][number(substring-after(span[@class="price"],"¥")) > 50]')
for div in expensive:
	print(div.xpath('h2/text()'))  # 数据科学实战

4.3 常用XPath表达式速查

表达式	含义	示例
`//tag`	选择所有tag元素	`//div`
`./tag`	当前节点下的tag	`./h2`
`@attr`	选择属性	`@class`
`[条件]`	谓语过滤	`[@class="item"]`
`text()`	获取文本	`//h2/text()`
`position()`	位置函数	`[position()和之间）
names = re.findall(r'(.*?)', html_content)
print(names) # $'Python编程入门', '数据科学实战', '网络爬虫开发'$

5.2 常用正则模式

模式	含义	示例
`.*?`	非贪婪匹配任意字符	`(.*?)`
`\d+`	匹配数字	`¥(\d+)`
`[^).*?(?=)`
`re.S`	使`.`匹配换行	`re.findall(..., re.S)`

5.3 正则 vs 解析器：何时使用？

优先使用解析器：当HTML结构清晰时，XPath/CSS选择器更易读、更稳定。
使用正则的场景：
从纯文本中提取模式（如邮箱、电话号码）。
处理非标准HTML（如属性值包含换行）。
快速提取少量数据，不想引入解析库。

警告：不要用正则解析嵌套的HTML标签！正则无法处理递归结构，应使用解析器。

六、三大工具对比总结

特性	BeautifulSoup4	lxml	re
学习曲线	低	中（XPath需学习）	中高
执行速度	中等	快	最快（纯文本）
容错性	高（自动修复）	中（可设置parser）	低（需精确模式）
功能丰富度	高（CSS选择器、导航）	高（XPath、CSS）	低（仅模式匹配）
适用场景	中小规模、结构多变	大规模、高性能需求	文本提取、简单模式
推荐组合	BS4 + lxml解析器	lxml + XPath	辅助解析器

七、实战：综合提取商品信息

以下代码演示如何用三种方式提取相同数据，并对比代码风格：

python 复制代码

import requests
from bs4 import BeautifulSoup
from lxml import etree
import re

url = 'https://example.com/products'  # 假设真实URL
response = requests.get(url)
html = response.text

# 方法1：BeautifulSoup + CSS选择器
soup = BeautifulSoup(html, 'lxml')
items_bs = []
for item in soup.select('div.item'):
    items_bs.append({
        'name': item.select_one('h2.name').text,
        'price': item.select_one('span.price').text.replace('¥', ''),
        'desc': item.select_one('p.desc').text,
        'id': item.get('data-id')
    })

# 方法2：lxml + XPath
tree = etree.HTML(html)
items_lxml = []
for div in tree.xpath('//div[@class="item"]'):
    items_lxml.append({
        'name': div.xpath('h2[@class="name"]/text()'),
        'price': div.xpath('span[@class="price"]/text()').replace('¥', ''),
        'desc': div.xpath('p[@class="desc"]/text()'),
        'id': div.xpath('@data-id')
    })

# 方法3：正则（仅作演示，不推荐用于复杂结构）
pattern = r'<div class="item" data-id="(\d+)">.*?<h2 class="name">(.*?)</h2>.*?<span class="price">¥(.*?)</span>.*?<p class="desc">(.*?)</p>'
matches = re.findall(pattern, html, re.S)
items_re = [{'id': m, 'name': m, 'price': m, 'desc': m} for m in matches]

print(items_bs == items_lxml == items_re)  # True

八、进阶技巧与注意事项

8.1 处理动态加载内容

如果页面数据通过JavaScript异步加载，上述方法无法直接获取。此时需要：

使用Selenium或Playwright模拟浏览器。
分析网络请求，直接调用API接口。

8.2 编码问题

python 复制代码

# 指定编码
soup = BeautifulSoup(html, 'lxml', from_encoding='utf-8')
tree = etree.HTML(html.encode('utf-8'))

8.3 性能优化

优先使用lxml作为解析器（BeautifulSoup(html, 'lxml')）。
避免在循环中重复解析整个文档。
使用lxml的iterparse流式解析大文件。

8.4 反爬虫应对

设置合理的User-Agent和请求间隔。
使用代理IP池。
处理验证码（需第三方服务）。

九、总结

BeautifulSoup4：入门首选，代码可读性强，适合快速开发。
lxml + XPath：性能王者，适合大规模、高频率抓取。
正则表达式：作为补充工具，处理文本模式匹配。

实际项目中，建议组合使用 ：用requests获取页面，用lxml解析（或BeautifulSoup+lxml解析器），用re处理特殊文本。掌握这三种工具，你将能应对绝大多数网页数据提取需求。

【爬虫入门第5讲】Python爬虫文本解析详解

Python爬虫数据提取：从入门到精通（lxml、BeautifulSoup、正则表达式全解析）

一、引言

二、准备工作：安装与基础环境

三、BeautifulSoup4：新手友好的选择

3.1 基本用法

3.2 CSS选择器（通过.select()）

3.3 常用方法总结

四、lxml：高性能与XPath的完美结合

4.1 解析HTML

4.2 XPath语法详解

4.3 常用XPath表达式速查

5.2 常用正则模式

5.3 正则 vs 解析器：何时使用？

六、三大工具对比总结

七、实战：综合提取商品信息

八、进阶技巧与注意事项

8.1 处理动态加载内容

8.2 编码问题

8.3 性能优化

8.4 反爬虫应对

九、总结

3.2 CSS选择器（通过`.select()`）