python爬虫05-xpath解析(一)

目录

总结:

1、xpath简介和安装

[2、使用xpath : 导包--->转换--->解析](#2、使用xpath : 导包--->转换--->解析)

3、语法规则

4、示例

总结:

xpath是简单粗暴的

就几个符号(..表示向上,/表示向下,@是属性,[ ]是条件)。

1、xpath简介和安装

  • XPath 是一门在 XML 文档中查找信息的语言;
  • 俗讲: 在树中通过节点等条件快速查找元素!
  • 安装lxml : pip install lxml

2、使用xpath : 导包--->转换--->解析

  1. 导包: from lxml import etree
  2. **文本转为树:**tree=etree.HTML(服务器响应text) / tree = etree.parse(本地html)
  3. **解析:**tree.xpath(表达式)

3、语法规则

表达式 作用 示例说明
/ 绝对定位:从根节点开始查询 /html/body/div[1]
// 相对定位:任意节点查询匹配 /html//div[1]
./ 选取当前节点
../ 选取当前节点的父节点。
@ 选取属性 //标签名[@元素名称='元素值'] //input[@id='kw']
[ ] 条件定位 //div[ @id = 'id_name' ] //div[ 1 ] 索引查询
/text() 获取标签下直系的标签文本 //span/text()
last() 定位到最后一个 //标签名[last()] //span/ul//li[last()]
逻辑表达 and 标签名[@元素名称='元素值' and @元素名称='元素值'] //input[@id='kw' and @class='s_ipt']
逻辑表达 or // 标签名[@元素名称='元素值' or @元素名称='元素值'] //input[@id='kw' or @class='s_t']
逻辑表达 非 //标签名称[@元素名称 != '元素值'] //input[@class!='1111']
逻辑表达 not() //标签名[not(.='元素值') . 代表的是 text() //year[not(.='aaa')] //li[not(@id="model")]
模糊匹配 //标签名[contains(text(), "内容"] ★ //div[contains(text(), "aaa")]
精确匹配 //标签名[(text()='内容')] //div[(text()='呵呵')]

4、示例:

解析a.html文本:

html 复制代码
<!DOCTYPE html>
<head>
    <meta charset="UTF-8"/>    <title>标题</title>
</head>
<body>
<div>
    <ul>
        <li id="name" class="bookName"><span>java</span></li>
        <li id="model"><span>python</span></li>
        <li class="price"><span>js</span></li>
        <li class="author"><span>c</span></li>
    </ul>
</div>
</body>
</html>

需求:获取span标签中的文本:

python 复制代码
# author: keep_di  
# 01-xpathtest.py
from lxml import etree
tree = etree.parse('a.html') #读取的本地文件
#需求:获取li中的文本 
lst1 = tree.xpath('//span/text()') # xpath返回是列表
print(lst1)  # ['java', 'python', 'js', 'c']
相关推荐
Ysjt | 深5 分钟前
C++多线程编程入门教程(优质版)
java·开发语言·jvm·c++
ephemerals__11 分钟前
【c++丨STL】list模拟实现(附源码)
开发语言·c++·list
码农飞飞15 分钟前
深入理解Rust的模式匹配
开发语言·后端·rust·模式匹配·解构·结构体和枚举
一个小坑货17 分钟前
Rust 的简介
开发语言·后端·rust
湫ccc24 分钟前
《Python基础》之基本数据类型
开发语言·python
Matlab精灵25 分钟前
Matlab函数中的隐马尔可夫模型
开发语言·matlab·统计学习
Microsoft Word26 分钟前
c++基础语法
开发语言·c++·算法
数据小爬虫@28 分钟前
如何利用java爬虫获得淘宝商品评论
java·开发语言·爬虫
qq_1728055936 分钟前
RUST学习教程-安装教程
开发语言·学习·rust·安装
wjs202444 分钟前
MongoDB 更新集合名
开发语言