XPath判断当前选中节点的元素类型 Python lxml判断当前Element的元素类型 爬虫爬取页面分元素类型提取纯文本

背景&前言

不知道你们做爬虫的时候,有没有碰到和我一样的情况:将页面提取成纯文本的时候,由于页面中各种链接、加粗字体等,直接提取会造成结果一坨一坨的,非常不规整。有时候还要自己对标题等元素进行修改,麻烦的很。最好呢,有个判断元素类型的方法,能让我们看碟下菜。恰好呢,网上又没有这样的文章,于是乎我就来将一下我在互联网冲浪带回来的经验。

精华

那么如何判断元素类型呢?用name()函数。不过还有一个难点,就是怎么判断当前元素,这个网上文章比较少。怎么办呢?答案是直接调函数。

python 复制代码
if item.xpath("name()") == "ul":
    print("哈哈,被我判断出来了")

或者加上contains()函数一起:

python 复制代码
if item.xpath("contains(name(), 'ul')"):
    print("哈哈,又被我判断出来了")

下面就再介绍一下我碰到具体问题的情况吧。

问题

直接解析提取页面的文本时,会出现非常不规整的结果。

原页面:

页面源代码:

基本是ul-li下有链接a、字体小花样strike等。

直接打印提取代码:

python 复制代码
# 定位节点
div = html.xpath("//div[contains(@class,'content-entity-body')]//text()")

# 提取
for item in div:
    print(item)

直接提取打印结果:

可以看到结果很乱。

解决方法

方法一

判断当前元素,分别进行处理。

提取代码:

python 复制代码
# 定位节点,注意这里和之前的方法也不同了
div = html.xpath("//div[contains(@class,'content-entity-body')]")[0]

# 提取
for item in div:
    if item.xpath("contains(name(), 'ul')"):
    # if item.xpath("name()") == "ul":  # 这样也行
        for li in item.xpath("./li"):
            text += ''.join(li.xpath(".//text()")) + '\n'
    else:
        text += ''.join(item.xpath(".//text()")) + '\n'

结果:

结果好多了。

方法二

土路子,绕过这个问题,直接判断子节点,因为ul后必跟li。这当然不失为一种办法。

提取代码:

python 复制代码
# 定位节点
div = html.xpath("//div[contains(@class,'content-entity-body')]")[0]

# 提取
for item in div:
    # if item.xpath("name()") == "ul":
    # if item.xpath("contains(name(), 'ul')"):
    if item.xpath("./li"):  # 直接判断子节点
        for li in item.xpath("./li"):
            text += ''.join(li.xpath(".//text()")) + '\n'
    else:
        text += ''.join(item.xpath(".//text()")) + '\n'

结果同上。

相关推荐
lixzest3 小时前
快速梳理遗留项目
java·c++·python
xnglan3 小时前
使用爬虫获取游戏的iframe地址
开发语言·爬虫·python·学习
zhysunny3 小时前
04.建造者模式的终极手册:从快餐定制到航天飞船的组装哲学
java·开发语言·建造者模式
郝学胜-神的一滴4 小时前
建造者模式:构建复杂对象的优雅方式
开发语言·c++·程序人生·建造者模式
AAIshangyanxiu4 小时前
最新基于R语言结构方程模型分析与实践技术应用
开发语言·r语言·结构方程模型·生态统计学
cwn_4 小时前
Sequential 损失函数 反向传播 优化器 模型的使用修改保存加载
人工智能·pytorch·python·深度学习·机器学习
老鱼说AI4 小时前
Transformer Masked loss原理精讲及其PyTorch逐行实现
人工智能·pytorch·python·深度学习·transformer
lxmyzzs4 小时前
【已解决】YOLO11模型转wts时报错:PytorchStreamReader failed reading zip archive
人工智能·python·深度学习·神经网络·目标检测·计算机视觉·bug
Fly-ping5 小时前
【前端】JavaScript 的事件循环 (Event Loop)
开发语言·前端·javascript
范纹杉想快点毕业6 小时前
基于C语言的Zynq SOC FPGA嵌入式裸机设计和开发教程
c语言·开发语言·数据库·嵌入式硬件·qt·fpga开发·嵌入式实时数据库