python爬虫05-xpath解析(一)

目录

总结:

1、xpath简介和安装

[2、使用xpath : 导包--->转换--->解析](#2、使用xpath : 导包--->转换--->解析)

3、语法规则

4、示例

总结:

xpath是简单粗暴的

就几个符号(..表示向上,/表示向下,@是属性,[ ]是条件)。

1、xpath简介和安装

  • XPath 是一门在 XML 文档中查找信息的语言;
  • 俗讲: 在树中通过节点等条件快速查找元素!
  • 安装lxml : pip install lxml

2、使用xpath : 导包--->转换--->解析

  1. 导包: from lxml import etree
  2. **文本转为树:**tree=etree.HTML(服务器响应text) / tree = etree.parse(本地html)
  3. **解析:**tree.xpath(表达式)

3、语法规则

表达式 作用 示例说明
/ 绝对定位:从根节点开始查询 /html/body/div[1]
// 相对定位:任意节点查询匹配 /html//div[1]
./ 选取当前节点
../ 选取当前节点的父节点。
@ 选取属性 //标签名[@元素名称='元素值'] //input[@id='kw']
[ ] 条件定位 //div[ @id = 'id_name' ] //div[ 1 ] 索引查询
/text() 获取标签下直系的标签文本 //span/text()
last() 定位到最后一个 //标签名[last()] //span/ul//li[last()]
逻辑表达 and 标签名[@元素名称='元素值' and @元素名称='元素值'] //input[@id='kw' and @class='s_ipt']
逻辑表达 or // 标签名[@元素名称='元素值' or @元素名称='元素值'] //input[@id='kw' or @class='s_t']
逻辑表达 非 //标签名称[@元素名称 != '元素值'] //input[@class!='1111']
逻辑表达 not() //标签名[not(.='元素值') . 代表的是 text() //year[not(.='aaa')] //li[not(@id="model")]
模糊匹配 //标签名[contains(text(), "内容"] ★ //div[contains(text(), "aaa")]
精确匹配 //标签名[(text()='内容')] //div[(text()='呵呵')]

4、示例:

解析a.html文本:

html 复制代码
<!DOCTYPE html>
<head>
    <meta charset="UTF-8"/>    <title>标题</title>
</head>
<body>
<div>
    <ul>
        <li id="name" class="bookName"><span>java</span></li>
        <li id="model"><span>python</span></li>
        <li class="price"><span>js</span></li>
        <li class="author"><span>c</span></li>
    </ul>
</div>
</body>
</html>

需求:获取span标签中的文本:

python 复制代码
# author: keep_di  
# 01-xpathtest.py
from lxml import etree
tree = etree.parse('a.html') #读取的本地文件
#需求:获取li中的文本 
lst1 = tree.xpath('//span/text()') # xpath返回是列表
print(lst1)  # ['java', 'python', 'js', 'c']
相关推荐
Sylvia-girl3 小时前
Java——抽象类
java·开发语言
Yana.nice6 小时前
Bash函数详解
开发语言·chrome·bash
江沉晚呤时6 小时前
在 C# 中调用 Python 脚本:实现跨语言功能集成
python·microsoft·c#·.net·.netcore·.net core
电脑能手7 小时前
如何远程访问在WSL运行的Jupyter Notebook
ide·python·jupyter
tomorrow.hello7 小时前
Java并发测试工具
java·开发语言·测试工具
Edward-tan7 小时前
CCPD 车牌数据集提取标注,并转为标准 YOLO 格式
python
晓13138 小时前
JavaScript加强篇——第四章 日期对象与DOM节点(基础)
开发语言·前端·javascript
老胖闲聊8 小时前
Python I/O 库【输入输出】全面详解
开发语言·python
倔强青铜三8 小时前
苦练Python第18天:Python异常处理锦囊
人工智能·python·面试
倔强青铜三8 小时前
苦练Python第17天:你必须掌握的Python内置函数
人工智能·python·面试