python爬虫05-xpath解析(一)

目录

总结:

1、xpath简介和安装

[2、使用xpath : 导包--->转换--->解析](#2、使用xpath : 导包--->转换--->解析)

3、语法规则

4、示例

总结:

xpath是简单粗暴的

就几个符号(..表示向上,/表示向下,@是属性,[ ]是条件)。

1、xpath简介和安装

  • XPath 是一门在 XML 文档中查找信息的语言;
  • 俗讲: 在树中通过节点等条件快速查找元素!
  • 安装lxml : pip install lxml

2、使用xpath : 导包--->转换--->解析

  1. 导包: from lxml import etree
  2. **文本转为树:**tree=etree.HTML(服务器响应text) / tree = etree.parse(本地html)
  3. **解析:**tree.xpath(表达式)

3、语法规则

表达式 作用 示例说明
/ 绝对定位:从根节点开始查询 /html/body/div[1]
// 相对定位:任意节点查询匹配 /html//div[1]
./ 选取当前节点
../ 选取当前节点的父节点。
@ 选取属性 //标签名[@元素名称='元素值'] //input[@id='kw']
[ ] 条件定位 //div[ @id = 'id_name' ] //div[ 1 ] 索引查询
/text() 获取标签下直系的标签文本 //span/text()
last() 定位到最后一个 //标签名[last()] //span/ul//li[last()]
逻辑表达 and 标签名[@元素名称='元素值' and @元素名称='元素值'] //input[@id='kw' and @class='s_ipt']
逻辑表达 or // 标签名[@元素名称='元素值' or @元素名称='元素值'] //input[@id='kw' or @class='s_t']
逻辑表达 非 //标签名称[@元素名称 != '元素值'] //input[@class!='1111']
逻辑表达 not() //标签名[not(.='元素值') . 代表的是 text() //year[not(.='aaa')] //li[not(@id="model")]
模糊匹配 //标签名[contains(text(), "内容"] ★ //div[contains(text(), "aaa")]
精确匹配 //标签名[(text()='内容')] //div[(text()='呵呵')]

4、示例:

解析a.html文本:

html 复制代码
<!DOCTYPE html>
<head>
    <meta charset="UTF-8"/>    <title>标题</title>
</head>
<body>
<div>
    <ul>
        <li id="name" class="bookName"><span>java</span></li>
        <li id="model"><span>python</span></li>
        <li class="price"><span>js</span></li>
        <li class="author"><span>c</span></li>
    </ul>
</div>
</body>
</html>

需求:获取span标签中的文本:

python 复制代码
# author: keep_di  
# 01-xpathtest.py
from lxml import etree
tree = etree.parse('a.html') #读取的本地文件
#需求:获取li中的文本 
lst1 = tree.xpath('//span/text()') # xpath返回是列表
print(lst1)  # ['java', 'python', 'js', 'c']
相关推荐
Shy96041811 分钟前
Bert完形填空
python·深度学习·bert
上海_彭彭21 分钟前
【提效工具开发】Python功能模块执行和 SQL 执行 需求整理
开发语言·python·sql·测试工具·element
3345543230 分钟前
element动态表头合并表格
开发语言·javascript·ecmascript
沈询-阿里34 分钟前
java-智能识别车牌号_基于spring ai和开源国产大模型_qwen vl
java·开发语言
zhongcx0138 分钟前
使用Python查找大文件的实用脚本
python
残月只会敲键盘1 小时前
面相小白的php反序列化漏洞原理剖析
开发语言·php
ac-er88881 小时前
PHP弱类型安全问题
开发语言·安全·php
ac-er88881 小时前
PHP网络爬虫常见的反爬策略
开发语言·爬虫·php
爱吃喵的鲤鱼1 小时前
linux进程的状态之环境变量
linux·运维·服务器·开发语言·c++
DARLING Zero two♡1 小时前
关于我、重生到500年前凭借C语言改变世界科技vlog.16——万字详解指针概念及技巧
c语言·开发语言·科技