在自动化测试、爬虫开发或 Web 数据分析中，XPath（XML Path Language） 是一种强大的工具，用于在 HTML/XML 文档中精准定位元素。Python 的 lxml、selenium 和 scrapy 等库都支持 XPath，使其成为开发者必备的技能之一。
本文将详细介绍 XPath 的基本语法 、Python 中的使用方法 ，并通过 实战案例 帮助你快速掌握 XPath 定位技巧。
1. XPath 是什么？
XPath 是一种用于在 XML/HTML 文档中导航和选择节点的查询语言。它可以通过 路径表达式 定位元素，支持层级关系、属性匹配、条件筛选等高级功能。
XPath 的优势
- 精准定位：比 CSS 选择器更灵活，支持复杂查询。
- 跨浏览器兼容：适用于所有浏览器（如 Chrome、Firefox、Edge）。
- 支持动态内容 ：可结合
selenium定位动态加载的元素。 - 适用于爬虫 ：
scrapy和lxml均支持 XPath 解析 HTML。
2. XPath 基本语法
2.1 基本路径表达式
| 表达式 | 说明 | 示例 |
|---|---|---|
/ |
从根节点开始 | /html/body/div |
// |
从任意节点开始（不限制层级） | //div（所有 <div>） |
. |
当前节点 | ./div（当前节点的 <div>） |
.. |
父节点 | //div/..（<div> 的父节点） |
@ |
匹配属性 | //div[@class="header"] |
2.2 条件筛选（谓词 []）
| 表达式 | 说明 | 示例 |
|---|---|---|
[1] |
第一个匹配的元素 | //div[1]（第一个 <div>） |
[@id="xxx"] |
匹配特定属性 | //input[@id="username"] |
[contains(@class, "xxx")] |
属性包含某值 | //div[contains(@class, "header")] |
[starts-with(@class, "xxx")] |
属性以某值开头 | //div[starts-with(@class, "col-")] |
[text()="xxx"] |
匹配文本内容 | //p[text()="Hello"] |
[last()] |
最后一个匹配的元素 | //div[last()] |
2.3 逻辑运算符
| 运算符 | 说明 | 示例 |
|---|---|---|
and |
逻辑与 | //div[@class="a" and @id="b"] |
or |
逻辑或 | //div[@class="a" or @class="b"] |
not() |
逻辑非 | //div[not(@class)]（无 class 的 <div>） |
3. Python 中使用 XPath
3.1 使用 lxml 解析 HTML（适用于爬虫）
python
from lxml import etree
html = """
<html>
<body>
<div class="header">
<h1>Welcome</h1>
<p class="desc">This is a demo.</p>
</div>
</body>
</html>
"""
# 解析 HTML
tree = etree.HTML(html)
# 使用 XPath 定位元素
h1 = tree.xpath('//h1/text()')[0] # 获取 <h1> 的文本
desc = tree.xpath('//p[@class="desc"]/text()')[0] # 获取 <p class="desc"> 的文本
print(f"Title: {h1}") # 输出: Welcome
print(f"Description: {desc}") # 输出: This is a demo.3.2 使用 selenium 定位动态元素（适用于自动化测试）
python
from selenium import webdriver
from selenium.webdriver.common.by import By
driver = webdriver.Chrome()
driver.get("https://example.com")
# 使用 XPath 定位元素
element = driver.find_element(By.XPATH, '//input[@id="username"]')
element.send_keys("admin")
# 定位多个元素
elements = driver.find_elements(By.XPATH, '//div[contains(@class, "item")]')
for el in elements:
print(el.text)
driver.quit()3.3 使用 scrapy 爬取数据（适用于爬虫开发）
python
import scrapy
class ExampleSpider(scrapy.Spider):
name = "example"
start_urls = ["https://example.com"]
def parse(self, response):
# 使用 XPath 提取数据
titles = response.xpath('//h1/text()').getall()
links = response.xpath('//a/@href').getall()
for title, link in zip(titles, links):
yield {
"title": title.strip(),
"url": link,
}4. XPath 实战案例
案例 1：定位动态加载的按钮
python
from selenium import webdriver
from selenium.webdriver.common.by import By
driver = webdriver.Chrome()
driver.get("https://demo.seleniumeasy.com/dynamic-loading-example.html")
# 等待按钮出现并点击
button = driver.find_element(
By.XPATH,
'//div[contains(@class, "btn-primary")][@id="startButton"]'
)
button.click()案例 2：爬取电商网站商品信息
python
import requests
from lxml import etree
url = "https://example.com/products"
response = requests.get(url)
tree = etree.HTML(response.text)
# 提取商品名称和价格
products = tree.xpath('//div[@class="product-item"]')
for product in products:
name = product.xpath('.//h2/text()')[0].strip()
price = product.xpath('.//span[@class="price"]/text()')[0].strip()
print(f"{name}: {price}")案例 3：定位表格中的特定行
python
from selenium import webdriver
from selenium.webdriver.common.by import By
driver = webdriver.Chrome()
driver.get("https://example.com/table-demo")
# 定位第二行的第三列（索引从 1 开始）
cell = driver.find_element(
By.XPATH,
'//table//tr[2]/td[3]'
)
print(cell.text)5. XPath 调试技巧
-
浏览器开发者工具 ：
- 按
F12打开 DevTools。 - 按
Ctrl+F输入 XPath 测试是否匹配目标元素。
- 按
-
try-except处理异常 ：pythontry: element = driver.find_element(By.XPATH, '//div[@id="non-existent"]') except Exception as e: print(f"定位失败: {e}") -
使用
contains()避免class顺序问题 ：python# 错误写法（如果 class 顺序变化会失效） '//div[@class="flex size-36"]' # 正确写法（推荐） '//div[contains(@class, "flex") and contains(@class, "size-36")]'
6. 总结
- XPath 是一种强大的定位工具 ，适用于
lxml、selenium、scrapy等 Python 库。 - 基本语法 包括
/、//、@、[]等，支持条件筛选和逻辑运算。 - 实战技巧 ：
- 使用
contains()避免class顺序问题。 - 结合
selenium定位动态元素。 - 在浏览器中调试 XPath 确保准确性。
- 使用
掌握 XPath 后，你可以更高效地完成 Web 自动化测试、爬虫开发、数据分析 等任务。希望本文能帮助你快速上手 XPath！ 🚀
参考资源：