爬虫-xpath篇

1.xpath的基础语法

表达式 描述
nodename 选中该元素
/ 从根节点选取、或者是元素和元素间的过渡
// 从匹配选择的当前节点选择文档中的节点,而不考虑它们的位置
. 选取当前节点
... 选取当前节点的父节点
@ 选取属性
text() 选取文本

举例:

路径表达式 结果
html 选择html元素
/html 选取根元素 html。注释:假如路径起始于正斜杠( / ),则此路径始终代表到某元素的绝对路径!
/html/body/ul/li 选取属于 ul的子元素的所有 li元素
//li 选取所有 li元素,而不管它们在文档中的位置
/html//li 选择属于 html元素的后代的所有 li元素,而不管它们位于 html之下的什么位置
//li//a/@href 选择所有的li下面的a标签中的href属性的值
//li//a/text() 选择所有的li下面的a标签的文本

2. 寻找特定节点:

路径表达式 结果
//span@class="s2" 选择class属性值为s2的所有span标签
//ul/li1 选取属于 ul子标签的第一个 li标签
//ul/lilast() 选取属于 ul子标签的最后一个 li标签
//ul/lilast()-1 选取属于 ul子标签的倒数第二个 li标签
//ul/liposition()\>1 选择ul下面的li标签,从第二个开始选择
//li/span/atext()='无墟极道' 选择所有li下的span标签,仅仅选择文本为 无墟极道 的a标签

敲黑板: 在xpath中,第一个元素的位置是1,最后一个元素的位置是last(),倒数第二个是last()-1


以上仅供参考,实用才是王道
重点在这here!!!
一.在大多数标准网站中对于文本 的提取

一般只需:相对标签+class属性值

eg.提取喜马拉雅的发现页面的书名
//span[@class='v-m T_G']

  1. 通过开发者工具定位一个书名的位置
    2.黄色标记部分即为所提取的内容
    二.对于链接 的提取一般只需:相对标签+class属性值+标签中内容所在的属性值

eg.提取喜马拉雅的发现页面的书籍封面链接
//img[@class='img _hW']/@src

  1. 通过开发者工具定位一个图片链接的位置
    (如果图片没刚好定位到链接位置也会定位在临近的地方)
    2. 上方xpath右框内的内容即为所提取的封面图片链接
    (可能会不以协议名开头,浏览器访问会自动加上,如果非浏览器需要自己加上)
相关推荐
聪明的笨猪猪4 分钟前
企业知识库AI架构选型:落地导向的架构决策与组件清单
经验分享·面试·架构·embedding·数据库架构
Go Work2 小时前
两个等值条件摆着,MySQL 偏要全表扫
经验分享·笔记
Oll Correct2 小时前
Adobe illustrator 案例十四:花元素标志草图绘制
笔记·ui·adobe·illustrator
每月一号准时摆烂6 小时前
服务器运维笔记(一)——使用shell编写实时查看BMC功率的脚本
运维·服务器·笔记
深圳智根网络程序开发6 小时前
WordPress固定链接怎么设?改不对谷歌收录直接崩
经验分享
德思特7 小时前
如何提升 5G 移动性切换验证效率?德思特 Amarisoft Callbox 新增 NR SA LTM 测试功能详解
经验分享·无线通信·车载通信
虹科数字化与AR9 小时前
农业机械AR质检ROI怎么算?从搬运、测量、返工和交付成本入手
经验分享·ar·质检·农业机械
聪明的笨猪猪1 天前
Java 工程案例:AI 生成 @Async 异步线程池踩坑
java·经验分享·面试·ai编程
柳鲲鹏1 天前
内斗学概论:43、平级内斗
笔记
星恒随风1 天前
MySQL 从零入门(四):表的增删改查与基础查询详解
linux·服务器·数据库·笔记·mysql