python爬虫05-xpath解析(一)

目录

总结:

1、xpath简介和安装

[2、使用xpath : 导包--->转换--->解析](#2、使用xpath : 导包--->转换--->解析)

3、语法规则

4、示例

总结:

xpath是简单粗暴的

就几个符号(..表示向上,/表示向下,@是属性, 是条件)。

1、xpath简介和安装

  • XPath 是一门在 XML 文档中查找信息的语言;
  • 俗讲: 在树中通过节点等条件快速查找元素!
  • 安装lxml : pip install lxml

2、使用xpath : 导包--->转换--->解析

  1. 导包: from lxml import etree
  2. **文本转为树:**tree=etree.HTML(服务器响应text) / tree = etree.parse(本地html)
  3. **解析:**tree.xpath(表达式)

3、语法规则

表达式 作用 示例说明
/ 绝对定位:从根节点开始查询 /html/body/div1
// 相对定位:任意节点查询匹配 /html//div1
./ 选取当前节点
../ 选取当前节点的父节点。
@ 选取属性 //标签名@元素名称='元素值' //input@id='kw'
条件定位 //div @id = 'id_name' //div 1 索引查询
/text() 获取标签下直系的标签文本 //span/text()
last() 定位到最后一个 //标签名last() //span/ul//lilast()
逻辑表达 and 标签名@元素名称='元素值' and @元素名称='元素值' //input@id='kw' and @class='s_ipt'
逻辑表达 or // 标签名@元素名称='元素值' or @元素名称='元素值' //input@id='kw' or @class='s_t'
逻辑表达 非 //标签名称@元素名称 != '元素值' //input@class!='1111'
逻辑表达 not() //标签名not(.='元素值') **.** 代表的是 text() //year\[not(.='aaa') //linot(@id="model")
模糊匹配 //标签名contains(text(), "内容" ★ //divcontains(text(), "aaa")
精确匹配 //标签名(text()='内容') //div(text()='呵呵')

4、示例:

解析a.html文本:

html 复制代码
<!DOCTYPE html>
<head>
    <meta charset="UTF-8"/>    <title>标题</title>
</head>
<body>
<div>
    <ul>
        <li id="name" class="bookName"><span>java</span></li>
        <li id="model"><span>python</span></li>
        <li class="price"><span>js</span></li>
        <li class="author"><span>c</span></li>
    </ul>
</div>
</body>
</html>

需求:获取span标签中的文本:

python 复制代码
# author: keep_di  
# 01-xpathtest.py
from lxml import etree
tree = etree.parse('a.html') #读取的本地文件
#需求:获取li中的文本 
lst1 = tree.xpath('//span/text()') # xpath返回是列表
print(lst1)  # ['java', 'python', 'js', 'c']
相关推荐
郝学胜-神的一滴8 小时前
Effective Python 条款36:优雅拼装迭代器与生成器
开发语言·数据结构·人工智能·python·numpy·scikit-learn
Norna9 小时前
Git 给路径加了引号,这个文件就从 review 里消失了
python
wuyk5559 小时前
Python办公自动化-第04讲-批量新建Excel
开发语言·python·excel
wuyk5559 小时前
Spider-第20讲-综合实战可上线爬虫
大数据·爬虫·python·elasticsearch
code2cat10 小时前
【随笔】Java客户端选了HTTP/3,怎样知道请求实际走了哪个版本
java·开发语言·http
JonaHu10 小时前
关键词排名突然消失?用 Python、SQLite 和 SERP API 搭一套可解释的 SEO 监控
python·sqlite·seo·serp api
prince_zxill11 小时前
把 17 个散文件装进一个文件夹:拆解 claude-plugins-official 的插件打包术(47,413 Star 实测)
python·github·agent·mcp·claude code
少司府11 小时前
嵌入式外设篇(三)GPIO·三:MCU系统结构、总线与统一编制
linux·python·stm32·单片机·嵌入式硬件·mcu·嵌入式软件
伞伞悦读12 小时前
【第90期】KNN分类回归流水线与K值对照的实验与排查
大数据·人工智能·python·深度学习·机器学习
console.log('npc')13 小时前
Python 学习教程 · 第4课:数据结构
数据结构·python·学习