python爬虫05-xpath解析(一)

目录

总结：

1、xpath简介和安装

[2、使用xpath : 导包--->转换--->解析](#2、使用xpath : 导包--->转换--->解析)

3、语法规则

4、示例

总结：

xpath是简单粗暴的

就几个符号（..表示向上，/表示向下，@是属性， 是条件）。

1、xpath简介和安装

• XPath 是一门在 XML 文档中查找信息的语言；
• 俗讲： 在树中通过节点等条件快速查找元素！
• 安装lxml ： pip install lxml

2、使用xpath : 导包--->转换--->解析

1. 导包： from lxml import etree
2. **文本转为树：**tree=etree.HTML(服务器响应text) / tree = etree.parse（本地html）
3. **解析：**tree.xpath(表达式)

3、语法规则

表达式	作用	示例说明
/	绝对定位：从根节点开始查询	/html/body/div1
//	相对定位：任意节点查询匹配	/html//div1
./	选取当前节点
../	选取当前节点的父节点。
@	选取属性	//标签名@元素名称='元素值' //input@id='kw'
	条件定位	//div @id = 'id_name' //div 1 索引查询
/text（）	获取标签下直系的标签文本	//span/text()
last()	定位到最后一个	//标签名last() //span/ul//lilast()
逻辑表达 and	标签名@元素名称='元素值' and @元素名称='元素值' //input@id='kw' and @class='s_ipt'
逻辑表达 or	// 标签名@元素名称='元素值' or @元素名称='元素值' //input@id='kw' or @class='s_t'
逻辑表达 非	//标签名称@元素名称 != '元素值' //input@class!='1111'
逻辑表达 not()	//标签名not(.='元素值') **.** 代表的是 text() //year\[not(.='aaa') //linot(@id="model")
模糊匹配	//标签名contains(text(), "内容" ★ //divcontains(text(), "aaa")
精确匹配	//标签名(text()='内容') //div(text()='呵呵')

4、示例：

解析a.html文本：

<!DOCTYPE html>
<head>
    <meta charset="UTF-8"/>    <title>标题</title>
</head>
<body>
<div>
    <ul>
        <li id="name" class="bookName"><span>java</span></li>
        <li id="model"><span>python</span></li>
        <li class="price"><span>js</span></li>
        <li class="author"><span>c</span></li>
    </ul>
</div>
</body>
</html>

需求：获取span标签中的文本：

# author: keep_di  
# 01-xpathtest.py
from lxml import etree
tree = etree.parse('a.html') #读取的本地文件
#需求：获取li中的文本 
lst1 = tree.xpath('//span/text()') # xpath返回是列表
print(lst1)  # ['java', 'python', 'js', 'c']