python爬虫05-xpath解析(一)

总结：

1、xpath简介和安装

[2、使用xpath : 导包--->转换--->解析](#2、使用xpath : 导包--->转换--->解析)

3、语法规则

4、示例

总结：

xpath是简单粗暴的

就几个符号（..表示向上，/表示向下，@是属性，是条件）。

1、xpath简介和安装

XPath 是一门在 XML 文档中查找信息的语言；
俗讲：在树中通过节点等条件快速查找元素！
安装lxml ： pip install lxml

2、使用xpath : 导包--->转换--->解析

导包： from lxml import etree

**文本转为树：**tree=etree.HTML(服务器响应text) / tree = etree.parse（本地html）

**解析：**tree.xpath(表达式)

3、语法规则

表达式	作用	示例说明
/	绝对定位：从根节点开始查询	/html/body/div $1$
//	相对定位：任意节点查询匹配	/html//div $1$
./	选取当前节点
../	选取当前节点的父节点。
@	选取属性	//标签名 $@元素名称='元素值'$ //input $@id='kw'$
	条件定位	//div $@id = 'id_name'$ //div $1$ 索引查询
/text（）	获取标签下直系的标签文本	//span/text()
last()	定位到最后一个	//标签名 $last()$ //span/ul//li $last()$
逻辑表达 and	标签名 $@元素名称='元素值' and @元素名称='元素值'$ //input $@id='kw' and @class='s_ipt'$
逻辑表达 or	// 标签名 $@元素名称='元素值' or @元素名称='元素值'$ //input $@id='kw' or @class='s_t'$
逻辑表达非	//标签名称 $@元素名称 != '元素值'$ //input $@class!='1111'$
逻辑表达 not()	//标签名 $not(.='元素值') . 代表的是 text() //year\[not(.='aaa')$ //li $not(@id="model")$
模糊匹配	//标签名 $contains(text(), "内容"$ ★ //div $contains(text(), "aaa")$
精确匹配	//标签名 $(text()='内容')$ //div $(text()='呵呵')$

4、示例：

解析a.html文本：

html 复制代码

<!DOCTYPE html>
<head>
    <meta charset="UTF-8"/>    <title>标题</title>
</head>
<body>
<div>
    <ul>
        <li id="name" class="bookName"><span>java</span></li>
        <li id="model"><span>python</span></li>
        <li class="price"><span>js</span></li>
        <li class="author"><span>c</span></li>
    </ul>
</div>
</body>
</html>

需求：获取span标签中的文本：

python 复制代码

# author: keep_di  
# 01-xpathtest.py
from lxml import etree
tree = etree.parse('a.html') #读取的本地文件
#需求：获取li中的文本 
lst1 = tree.xpath('//span/text()') # xpath返回是列表
print(lst1)  # ['java', 'python', 'js', 'c']