XPath 是一种查询语言，用于从 XML 和 HTML 文档中提取数据。它的全称是 XML Path Language，常用于 Web 数据爬取和 XML 数据处理。
本文将详细介绍 XPath 的基础知识、常用语法以及应用场景，并通过具体示例帮助你快速上手。
一、什么是 XPath？
XPath 是 W3C 定义的一种语言，用于在 XML 文档中查找节点。它通过路径表达式对 XML 或 HTML 的元素和属性进行操作，非常类似于文件系统中的路径操作。
XPath 的基本特点：
- 定位节点： 使用路径表示元素的层次结构。
- 支持条件： 可以通过条件筛选节点。
- 灵活强大： 可精确选择节点、属性或值。
二、XPath 的基本语法
XPath 语法由路径表达式和函数组成。以下是一些常用的语法：
1. 基本路径表达式
| 表达式 | 含义 |
|---|---|
/ |
从根节点选择 |
// |
选择文档中的所有匹配节点（不考虑层级） |
. |
当前节点 |
.. |
当前节点的父节点 |
@ |
选择属性 |
示例：
XML
<root>
<child id="1">Value</child>
<child id="2">Another Value</child>
</root>/root/child：选中所有<child>节点。//child：选中文档中所有<child>节点。/root/child[@id='1']：选中id="1"的<child>节点。/root/child[2]：选中第二个<child>节点。
2. 条件筛选
XPath 提供了强大的条件筛选功能。
| 条件表达式 | 含义 |
|---|---|
[index] |
选择第 index 个子节点 |
[@attr] |
选择带有特定属性的节点 |
[text()='value'] |
选择文本内容为指定值的节点 |
[contains(text(),'part')] |
选择包含部分文本的节点 |
示例：
XML
<items>
<item type="book">Learn Python</item>
<item type="movie">Inception</item>
</items>//item[@type='book']：选中type="book"的<item>节点。//item[contains(text(), 'Python')]：选中文本包含 "Python" 的<item>节点。
3. 节点选择
| 表达式 | 含义 |
|---|---|
node() |
选择任意节点 |
text() |
选择节点的文本内容 |
@attribute |
选择节点的属性值 |
* |
选择所有子节点 |
示例：
XML
<catalog>
<product name="Laptop" price="1000">High-end</product>
</catalog>//product/@name：提取<product>的name属性值。//product/text()：提取<product>的文本内容High-end。//product/*：选择<product>的所有子节点。
4. 运算符
XPath 提供了一些常用的运算符，用于条件组合和筛选。
| 运算符 | 含义 |
|---|---|
and |
两个条件都满足 |
or |
任一条件满足 |
= |
等于 |
!= |
不等于 |
< / > |
小于 / 大于 |
示例：
XML
<users>
<user age="25">Alice</user>
<user age="30">Bob</user>
</users>//user[@age>25]：选中age > 25的<user>节点。//user[@age='25' or text()='Bob']：选中age="25"或者文本为Bob的<user>节点。
三、在 HTML 中使用 XPath
HTML 的结构和 XML 类似，因此可以使用 XPath 来定位元素。这在爬取网页数据时非常实用。
示例 HTML：
html
<html>
<body>
<div class="content">
<h1>Title</h1>
<p>Paragraph</p>
<a href="example.com">Link</a>
</div>
</body>
</html>XPath 示例：
//h1：选择所有<h1>标签。//div[@class='content']/p：选择class="content"的<div>中的<p>标签。//a/@href：提取所有链接的href属性值。
四、XPath 实战：使用 Python 提取数据
lxml 是一个快速、简洁的 HTML 和 XML 解析库。
代码示例：
html
from lxml import etree
# 示例 HTML
html = """
<html>
<body>
<div class="content">
<h1>Title</h1>
<p>Paragraph</p>
<a href="example.com">Link</a>
</div>
</body>
</html>
"""
# 解析 HTML
tree = etree.HTML(html)
# 提取数据
title = tree.xpath('//h1/text()')
link = tree.xpath('//a/@href')
print("标题:", title) # 输出：['Title']
print("链接:", link) # 输出：['example.com']五、XPath 的优势与局限
优势：
- 强大的定位功能： 适合复杂嵌套结构的 XML 和 HTML。
- 条件筛选： 提供灵活的条件语法。
- 跨平台支持： 可在多种工具和编程语言中使用。
局限：
- 结构依赖性强： 页面结构改变时，XPath 可能失效。
- 性能： 对大型文档的查询可能较慢。
- 动态网页支持不足： 对于 JS 动态生成的内容，需要结合浏览器自动化工具。
六、总结
XPath 是处理 XML 和 HTML 数据的重要工具，结合 Python 等语言，它可以大幅提高数据处理和提取的效率。在学习 XPath 时，建议多尝试解析实际的 XML 和 HTML 文件，熟悉常用的语法和方法。掌握了 XPath，你将在数据提取、爬虫开发等领域游刃有余！