Python - 爬虫-网页解析数据-库lxml（支持XPath）

MinggeQingchun2025-04-27 1:06

lxml是 Python 的第三方解析库，完全使用 Python 语言编写，它对 Xpath 表达式提供了良好的支持，支持HTML和XML的解析，支持XPath解析方式，而且解析效率非常高

XPath，全称XML Path Language，即XML路径语言，它是一门在XML文档中查找信息的语言，它最初是用来搜寻XML文档的，但是它同样适用于HTML文档的搜索

XPath的选择功能十分强大，它提供了非常简明的路径选择表达式，另外，它还提供了超过100个内建函数，用于字符串、数值、时间的匹配以及节点、序列的处理等，几乎所有我们想要定位的节点，都可以用XPath来选择

XPath于1999年11月16日成为W3C标准，它被设计为供XSLT、XPointer以及其他XML解析软件使用

官方网站：https://www.w3.org/TR/xpath/

一、XPath语法

1、语法

表达式 说明
nodename 选取此节点的所有子节点
/ 从根节点选取
// 从匹配选择的当前节点选取文档中的节点，而不用考虑它们的位置
. 选取当前节点
.. 选取当前节点的父节点
@ 选取属性

（1）选取节点bookstore的所有子节点

复制代码 
bookstore

（2）选取根节点bookstore

复制代码 
/bookstore

需要注意的是，如果路径以"/"开始，那么该路径就代表着到达某个节点的绝对路径。

（3）从根节点bookstore开始，向下选取属于它的所有book子节点

复制代码 
bookstore/book

（4）从任意位置开始，选取名称为book的所有节点

复制代码 
//book

与上一个表达式相比，该表达式不用再说明符合要求的这些节点在文档树中的具体位置。

（5）在节点bookstore的后代中，选取所有名称为book的所有节点，而且不用管这些节点位于bookstore之下的什么位置

复制代码 
bookstore//book

（6）使用"@"选取名称为lang的所有属性节点

复制代码 
//@lang

2、谓语

谓语是对指路径表达式的附加条件，这些条件都写在方括号中，表示对节点进行进一步筛选，用于查找某个特定节点或者包含某个指定值的节点，具体格式如下。

复制代码 
元素[表达式]

接下来，通过一张表来列举一些常用的带有谓语的路径表达式，以及对这些表达式功能的说明，具体如表2所示。

表达式 说明
/bookstore/book[1] 选取属于 bookstore 子元素的第一个 book 元素。
/bookstore/book[last()] 选取属于 bookstore 子元素的最后一个 book 元素。
/bookstore/book[last()-1] 选取属于 bookstore 子元素的倒数第二个 book 元素。
/bookstore/book[position()<3] 选取最前面的两个属于 bookstore 元素的子元素的 book 元素。
//title[@lang] 选取所有的title元素，且这些元素拥有名称为lang的属性。
//title[@lang='eng'] 选取所有 title 元素，且这些元素拥有值为 eng 的 lang 属性。
/bookstore/book[price>35.00] 选取 bookstore 元素的所有 book 元素，且其中的 price 元素的值须大于 35.00。
/bookstore/book[price>35.00]/title 选取 bookstore 元素中的 book 元素的所有 title 元素，且其中的 price 元素的值须大于 35.00。

3、通配符

通配符 说明
* 匹配任何元素节点。
@* 匹配任何属性节点。
node() 匹配任何类型的节点。

（1）选取bookstore元素的所有子元素

复制代码 
/bookstore/*

（2）选取文档中的所有元素

复制代码 
//*

（3）选取所有带有属性的title 元素

复制代码 
//title[@*]

二、lxml使用

安装lxml库

复制代码 
pip3 install lxml

lxml 库提供了一个 etree模块，该模块专门用来解析 HTML/XML 文档

1、导入模块
python 复制代码 
from lxml import etree
2、创建解析对象

调用 etree 模块的 HTML() 方法来创建 HTML 解析对象

python 复制代码 
parse_html = etree.HTML(html)

HTML() 方法能够将 HTML 标签字符串解析为 HTML 文件，该方法可以自动修正 HTML 文本

python 复制代码 
from lxml import etree

html_str = '''

<div>
    <ul>
         <li class="item1"><a href="link1.html">Python</a></li>
         <li class="item2"><a href="link2.html">Java</a></li>
         <li class="site1"><a href="c.biancheng.net">C语言中文网</a>
         <li class="site2"><a href="www.baidu.com">百度</a></li>
         <li class="site3"><a href="www.jd.com">京东</a></li>
     </ul>
</div>

'''

html = etree.HTML(html_str)
# tostring()将标签元素转换为字符串输出，注意：result为字节类型
result = etree.tostring(html)
print(result.decode('utf-8'))

输出结果如下：

python 复制代码 
<html><body><div>
    <ul>
         <li class="item1"><a href="link1.html">Python</a></li>
         <li class="item2"><a href="link2.html">Java</a></li>
         <li class="site1"><a href="c.biancheng.net">C&#35821;&#35328;&#20013;&#25991;&#32593;</a></li>
         <li class="site2"><a href="www.baidu.com">&#30334;&#24230;</a></li>
         <li class="site3"><a href="www.jd.com">&#20140;&#19996;</a>
     </li></ul>
</div>
</body></html>

上述 HTML 字符串存在缺少标签的情况，比如"语言中文网"缺少一个 </li> 闭合标签，当使用了 HTML() 方法后，会将其自动转换为符合规范的 HTML 文档格式。

3、调用xpath表达式

使用第二步创建的解析对象调用 xpath() 方法，完成数据的提取

python 复制代码 
r_list = parse_html.xpath('xpath表达式')
python 复制代码 
from bs4 import BeautifulSoup
from lxml import etree

'''
lxml
安装：pip install lxml
xpath语法：
nodename：选取此节点的所有子节点
//：从任意子节点中选取
/：从根节点中选取
.：选取当前节点
..：选取当前节点的父节点
@：选取属性
'''

html_doc = """
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title"><b>The Dormouse's story</b></p>

<p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>,
<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>

<p class="story">...</p>
"""

soup_lxml = BeautifulSoup(html_doc,'lxml')
print('##' * 10 , soup_lxml.a) # <a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>

selector = etree.HTML(html_doc)
# 取出页面内所有的链接
links = selector.xpath('//p[@class="story"]/a/@href')
for link in links:
    print(link)
    # http: // example.com / elsie
    # http: // example.com / lacie
    # http: // example.com / tillie




print('--------book节点--------')
book_html = """
<bookstore>
    <book category="cooking">
        <title lang="en">Everyday Italian</title>
        <author>Glada De Laurentiis</author>
        <year>2005</year>
        <price>30.00</price>
    </book>
    <book category="children">
        <title lang="en">Harry Potter</title>
        <author>J K. Rowling</author>
        <year>2005</year>
        <price>29.99</price>
    </book>
    <book category="web">
        <title lang="en">XQuery Kick Start</title>
        <author>James McGovern</author>
        <author>Per Bothner</author>
        <author>Kurt Cagle</author>
        <author>James Linn</author>
        <author>Vaidyanathan Nagarajan</author>
        <year>2003</year>
        <price>49.99</price>
    </book>
    <book category="web" cover="paperback">
        <title lang="en">Learning XML</title>
        <author>Erik T. Ray</author>
        <year>2003</year>
        <price>39.95</price>
    </book>
</bookstore>
"""

# 创建解析对象
selector = etree.HTML(book_html)
# 提取文本数据，根据xpath后的表达式,提取文本最终使用text()
print(selector.xpath('//book')) # [<Element book at 0x1f39c475e40>, <Element book at 0x1f39c475e80>, <Element book at 0x1f39c475ec0>, <Element book at 0x1f39c475f00>]
print(selector.xpath('//bookstore//author')) # [<Element author at 0x1735dbc0340>, <Element author at 0x1735dbc0180>, <Element author at 0x1735dbc0100>, <Element author at 0x1735dbc0380>, <Element author at 0x1735dbc03c0>, <Element author at 0x1735dbc0440>, <Element author at 0x1735dbc0480>, <Element author at 0x1735dbc04c0>]
print(selector.xpath('//bookstore/book/author')) # [<Element author at 0x2d8d5b00480>, <Element author at 0x2d8d5b004c0>, <Element author at 0x2d8d5b00540>, <Element author at 0x2d8d5b00580>, <Element author at 0x2d8d5b005c0>, <Element author at 0x2d8d5b00440>, <Element author at 0x2d8d5b00380>, <Element author at 0x2d8d5b003c0>]
print(selector.xpath('//author/text()')) # ['Glada De Laurentiis', 'J K. Rowling', 'James McGovern', 'Per Bothner', 'Kurt Cagle', 'James Linn', 'Vaidyanathan Nagarajan', 'Erik T. Ray']
print(selector.xpath('//bookstore/book/title/text()')) # ['Everyday Italian', 'Harry Potter', 'XQuery Kick Start', 'Learning XML']


print('----规则----')
# 选取书店下所有的书本的作者的名字
print('选取书店下所有的书本的作者的名字：',selector.xpath('//bookstore/book/author/text()'))
# 选取书店下所有的书本的语言
print('选取书店下所有的书本的语言：',selector.xpath('//bookstore/book/title/@lang'))
# 选取书店下第一本书的标题
print('选取书店下第一本书的标题：',selector.xpath('//bookstore/book[1]/title/text()'))
# 选取书店下最后一本书的标题
print('选取书店下最后一本书的标题：',selector.xpath('//bookstore/book[last()]/title/text()'))
# 选取书店下倒数第二本书的标题
print('选取书店下倒数第二本书的标题：',selector.xpath('//bookstore/book[last()-1]/title/text()'))
# 选取书店下前2本书的标题
print('选取书店下前2本书的标题：',selector.xpath('//bookstore/book[position()<3]/title/text()'))
# 选取所有的分类为web的书本
print('选取所有的分类为web的书本：',selector.xpath('//book[@category="web"]/title/text()'))
# 选取所有价格大于30.00元的书本
print('选取所有价格大于30.00元的书本：',selector.xpath('//book[price>35.0]/price/text()'))
# 选取所有class属性中包含book的书本的class属性
print('选取所有class属性中包含book的书本的class属性：',selector.xpath('//book[contains(@class, "book")]/@class'))
# 选取书店下所有的书本的作者的名字： ['Glada De Laurentiis', 'J K. Rowling', 'James McGovern', 'Per Bothner', 'Kurt Cagle', 'James Linn', 'Vaidyanathan Nagarajan', 'Erik T. Ray']
# 选取书店下所有的书本的语言： ['en', 'en', 'en', 'en']
# 选取书店下第一本书的标题： ['Everyday Italian']
# 选取书店下最后一本书的标题： ['Learning XML']
# 选取书店下倒数第二本书的标题： ['XQuery Kick Start']
# 选取书店下前2本书的标题： ['Everyday Italian', 'Harry Potter']
# 选取所有的分类为web的书本： ['XQuery Kick Start', 'Learning XML']
# 选取所有价格大于30.00元的书本： ['49.99', '39.95']
# 选取所有class属性中包含book的书本的class属性： []


print('----bookstore----')
bookstore = selector.xpath('//bookstore')
print(bookstore) # [<Element bookstore at 0x1f273ce6a00>]
print(bookstore[0]) # <Element bookstore at 0x1f273ce6a00>
print(bookstore[0].xpath('./book/title')) # [<Element title at 0x1f273ce6e80>, <Element title at 0x1f273ce6e00>, <Element title at 0x1f273ce6ac0>, <Element title at 0x1f273ce6b40>]
print(bookstore[0].xpath('./book/author')) # [<Element author at 0x1f273ce6b40>, <Element author at 0x1f273ce6a40>, <Element author at 0x1f273ce6940>, <Element author at 0x1f273ce6900>, <Element author at 0x1f273ce6800>, <Element author at 0x1f273ce6b80>, <Element author at 0x1f273ce6980>, <Element author at 0x1f273ce6c00>]
print(bookstore[0].xpath('./book/title/text()')) # ['Everyday Italian', 'Harry Potter', 'XQuery Kick Start', 'Learning XML']
print(bookstore[0].xpath('./book/author/text()')) # ['Glada De Laurentiis', 'J K. Rowling', 'James McGovern', 'Per Bothner', 'Kurt Cagle', 'James Linn', 'Vaidyanathan Nagarajan', 'Erik T. Ray']
print(bookstore[0].xpath('//book/title/text()')) # ['Everyday Italian', 'Harry Potter', 'XQuery Kick Start', 'Learning XML']
print(bookstore[0].xpath('//book/author/text()')) # ['Glada De Laurentiis', 'J K. Rowling', 'James McGovern', 'Per Bothner', 'Kurt Cagle', 'James Linn', 'Vaidyanathan Nagarajan', 'Erik T. Ray']

（1）读取文本解析节点

python 复制代码 
from lxml import etree

text='''
<div>
    <ul>
        <li class="item-0"><a href="link1.html">第一个</a></li>
        <li class="item-1"><a href="link2.html">second item</a></li>
        <li class="item-0"><a href="link5.html">a属性</a>
    </ul>
</div>

'''

html=etree.HTML(text) #初始化生成一个XPath解析对象
result=etree.tostring(html,encoding='utf-8')  #解析对象输出代码
print(type(html))
print(type(result))
print(result.decode('utf-8'))


#etree会修复HTML文本节点
<class 'lxml.etree._Element'>
<class 'bytes'>
<html><body><div>
    <ul>
        <li class="item-0"><a href="link1.html">第一个</a></li>
        <li class="item-1"><a href="link2.html">second item</a></li>
        <li class="item-0"><a href="link5.html">a属性</a>
    </li></ul>
</div>
</body></html>

（2）读取HTML文件进行解析

python 复制代码 
from lxml import etree

html=etree.parse('test.html',etree.HTMLParser()) #指定解析器HTMLParser会根据文件修复HTML文件中缺失的如声明信息
result=etree.tostring(html)  #解析成字节
#result=etree.tostringlist(html) #解析成列表
print(type(html))
print(type(result))
print(result)

#

<class 'lxml.etree._ElementTree'>

<class 'bytes'>

b'<!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.0 Transitional//EN" "http://www.w3.org/TR/REC-html40/loose.dtd">\n<html><body><div> \n    <ul> \n        <li class="item-0"><a href="link1.html">first item</a></li> \n        <li class="item-1"><a href="link2.html">second item</a></li> \n        <li class="item-inactive"><a href="link3.html">third item</a></li> \n        <li class="item-1"><a href="link4.html">fourth item</a></li> \n        <li class="item-0"><a href="link5.html">fifth item</a> \n    </li></ul> \n </div> \n</body></html>'

（3）获取所有节点

返回一个列表每个元素都是Element类型，所有节点都包含在其中

python 复制代码 
from lxml import etree
html=etree.parse('test',etree.HTMLParser())
result=html.xpath('//*')  #//代表获取子孙节点，*代表获取所有
print(type(html))
print(type(result))
print(result)

#
<class 'lxml.etree._ElementTree'>
<class 'list'>
[<Element html at 0x754b210048>, <Element body at 0x754b210108>, <Element div at 0x754b210148>, <Element ul at 0x754b210188>, <Element li at 0x754b2101c8>, <Element a at 0x754b210248>, <Element li at 0x754b210288>, <Element a at 0x754b2102c8>, <Element li at 0x754b210308>, <Element a at 0x754b210208>, <Element li at 0x754b210348>, <Element a at 0x754b210388>, <Element li at 0x754b2103c8>, <Element a at 0x754b210408>]

如要获取li节点，可以使用//后面加上节点名称，然后调用xpath()方法

html.xpath('//li') #获取所有子孙节点的li节点

（4）获取子节点

通过/或者//即可查找元素的子节点或者子孙节点，如果想选择li节点的所有直接a节点，可以这样使用

python 复制代码 
#通过追加/a选择所有li节点的所有直接a节点，因为//li用于选中所有li节点，/a用于选中li节点的所有直接子节点a
result=html.xpath('//li/a')

（5）获取父节点

我们知道通过连续的/或者//可以查找子节点或子孙节点，那么要查找父节点可以使用..来实现也可以使用parent::来获取父节点

python 复制代码 
from lxml import etree
from lxml.etree import HTMLParser

text='''
<div>
    <ul>
        <li class="item-0"><a href="link1.html">第一个</a></li>
        <li class="item-1"><a href="link2.html">second item</a></li>
    </ul>
</div>

'''

html=etree.HTML(text,etree.HTMLParser())
result=html.xpath('//a[@href="link2.html"]/../@class')
result1=html.xpath('//a[@href="link2.html"]/parent::*/@class')
print(result)
print(result1)


#
['item-1']
['item-1']

（6）属性匹配

在选取的时候，我们还可以用@符号进行属性过滤。比如，这里如果要选取class为item-1的li节点，可以这样实现:

python 复制代码 
from lxml import etree
from lxml.etree import HTMLParser

text='''
<div>
    <ul>
        <li class="item-0"><a href="link1.html">第一个</a></li>
        <li class="item-1"><a href="link2.html">second item</a></li>
    </ul>
</div>

'''

html=etree.HTML(text,etree.HTMLParser())
result=html.xpath('//li[@class="item-1"]')
print(result)

（7）文本获取

我们用XPath中的text()方法获取节点中的文本

python 复制代码 
from lxml import etree

text='''
<div>
    <ul>
        <li class="item-0"><a href="link1.html">第一个</a></li>
        <li class="item-1"><a href="link2.html">second item</a></li>
    </ul>
</div>
'''

html=etree.HTML(text,etree.HTMLParser())
result=html.xpath('//li[@class="item-1"]/a/text()') #获取a节点下的内容
result1=html.xpath('//li[@class="item-1"]//text()') #获取li下所有子孙节点的内容
print(result)
print(result1)

（8）属性获取

使用@符号即可获取节点的属性，如下：获取所有li节点下所有a节点的href属性

python 复制代码 
result=html.xpath('//li/a/@href')  #获取a的href属性
result=html.xpath('//li//@href')  #获取所有li子孙节点的href属性

（9）属性多值匹配

如果某个属性的值有多个时，我们可以使用contains()函数来获取

python 复制代码 
from lxml import etree

text1='''
<div>
    <ul>
        <li class="aaa item-0"><a href="link1.html">第一个</a></li>
        <li class="bbb item-1"><a href="link2.html">second item</a></li>
    </ul>
</div>
'''

html=etree.HTML(text1,etree.HTMLParser())
result=html.xpath('//li[@class="aaa"]/a/text()')
result1=html.xpath('//li[contains(@class,"aaa")]/a/text()')
print(result)
print(result1)

#通过第一种方法没有取到值，通过contains（）就能精确匹配到节点了
[]
['第一个']

（10）多属性匹配

另外我们还可能遇到一种情况，那就是根据多个属性确定一个节点，这时就需要同时匹配多个属性，此时可用运用and运算符来连接使用：

python 复制代码 
from lxml import etree

text1='''
<div>
    <ul>
        <li class="aaa" name="item"><a href="link1.html">第一个</a></li>
        <li class="aaa" name="fore"><a href="link2.html">second item</a></li>
    </ul>
</div>
'''

html=etree.HTML(text1,etree.HTMLParser())
result=html.xpath('//li[@class="aaa" and @name="fore"]/a/text()')
result1=html.xpath('//li[contains(@class,"aaa") and @name="fore"]/a/text()')
print(result)
print(result1)

#
['second item']
['second item']

（11）XPath中的运算符

运算符 描述 实例 返回值
| 计算两个节点集 //book | //cd 返回所有拥有 book 和 cd 元素的节点集
+ 加法 6 + 4 10
- 减法 6 - 4 2
* 乘法 6 * 4 24
div 除法 8 div 4 2
= 等于 price=9.80 如果 price 是 9.80，则返回 true。 如果 price 是 9.90，则返回 false。
!= 不等于 price!=9.80 如果 price 是 9.90，则返回 true。 如果 price 是 9.80，则返回 false。
< 小于 price<9.80 如果 price 是 9.00，则返回 true。 如果 price 是 9.90，则返回 false。
<= 小于或等于 price<=9.80 如果 price 是 9.00，则返回 true。 如果 price 是 9.90，则返回 false。
> 大于 price>9.80 如果 price 是 9.90，则返回 true。 如果 price 是 9.80，则返回 false。
>= 大于或等于 price>=9.80 如果 price 是 9.90，则返回 true。 如果 price 是 9.70，则返回 false。
or 或 price=9.80 or price=9.70 如果 price 是 9.80，则返回 true。 如果 price 是 9.50，则返回 false。
and 与 price>9.00 and price<9.90 如果 price 是 9.80，则返回 true。 如果 price 是 8.50，则返回 false。
mod 计算除法的余数 5 mod 2 1

此表参考来源:

http://www.w3school.com.cn/xpath/xpath_operators.asp

（12）按序选择

有时候，我们在选择的时候某些属性可能同时匹配多个节点，但我们只想要其中的某个节点，如第二个节点或者最后一个节点，这时可以利用中括号引入索引的方法获取特定次序的节点：

python 复制代码 
from lxml import etree

text1='''
<div>
    <ul>
        <li class="aaa" name="item"><a href="link1.html">第一个</a></li>
        <li class="aaa" name="item"><a href="link1.html">第二个</a></li>
        <li class="aaa" name="item"><a href="link1.html">第三个</a></li>
        <li class="aaa" name="item"><a href="link1.html">第四个</a></li>
    </ul>
</div>

'''

html=etree.HTML(text1,etree.HTMLParser())
result=html.xpath('//li[contains(@class,"aaa")]/a/text()') #获取所有li节点下a节点的内容
result1=html.xpath('//li[1][contains(@class,"aaa")]/a/text()') #获取第一个
result2=html.xpath('//li[last()][contains(@class,"aaa")]/a/text()') #获取最后一个
result3=html.xpath('//li[position()>2 and position()<4][contains(@class,"aaa")]/a/text()') #获取第一个
result4=html.xpath('//li[last()-2][contains(@class,"aaa")]/a/text()') #获取倒数第三个
print(result)
print(result1)
print(result2)
print(result3)
print(result4)


#
['第一个', '第二个', '第三个', '第四个']
['第一个']
['第四个']
['第三个']
['第二个']

这里使用了last()、position()函数，在XPath中，提供了100多个函数，包括存取、数值、字符串、逻辑、节点、序列等处理功能，它们的具体作用可参考：

http://www.w3school.com.cn/xpath/xpath_functions.asp

（13）节点轴选择

XPath提供了很多节点选择方法，包括获取子元素、兄弟元素、父元素、祖先元素等，示例如下：

python 复制代码 
from lxml import etree

text1='''
<div>
    <ul>
        <li class="aaa" name="item"><a href="link1.html">第一个</a></li>
        <li class="aaa" name="item"><a href="link1.html">第二个</a></li>
        <li class="aaa" name="item"><a href="link1.html">第三个</a></li>
        <li class="aaa" name="item"><a href="link1.html">第四个</a></li>
    </ul>
</div>
'''
html=etree.HTML(text1,etree.HTMLParser())
result=html.xpath('//li[1]/ancestor::*')  #获取所有祖先节点
result1=html.xpath('//li[1]/ancestor::div')  #获取div祖先节点
result2=html.xpath('//li[1]/attribute::*')  #获取所有属性值
result3=html.xpath('//li[1]/child::*')  #获取所有直接子节点
result4=html.xpath('//li[1]/descendant::a')  #获取所有子孙节点的a节点
result5=html.xpath('//li[1]/following::*')  #获取当前子节之后的所有节点
result6=html.xpath('//li[1]/following-sibling::*')  #获取当前节点的所有同级节点


#
[<Element html at 0x3ca6b960c8>, <Element body at 0x3ca6b96088>, <Element div at 0x3ca6b96188>, <Element ul at 0x3ca6b961c8>]
[<Element div at 0x3ca6b96188>]
['aaa', 'item']
[<Element a at 0x3ca6b96248>]
[<Element a at 0x3ca6b96248>]
[<Element li at 0x3ca6b96308>, <Element a at 0x3ca6b96348>, <Element li at 0x3ca6b96388>, <Element a at 0x3ca6b963c8>, <Element li at 0x3ca6b96408>, <Element a at 0x3ca6b96488>]
[<Element li at 0x3ca6b96308>, <Element li at 0x3ca6b96388>, <Element li at 0x3ca6b96408>]

以上使用的是XPath轴的用法，更多轴的用法可参考

http://www.w3school.com.cn/xpath/xpath_axes.asp

（14）案例应用:

抓取TIOBE指数前20名排行开发语言

python 复制代码 
#!/usr/bin/env python

#coding:utf-8

import requests
from requests.exceptions import RequestException
from lxml import etree
from lxml.etree import ParseError
import json

def one_to_page(html):
      headers={
            'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.62 Safari/537.36'
      }
      try:
            response=requests.get(html,headers=headers)
            body=response.text   #获取网页内容
      except RequestException as e:
            print('request is error!',e)
      try:
            html=etree.HTML(body,etree.HTMLParser())   #解析HTML文本内容
            result=html.xpath('//table[contains(@class,"table-top20")]/tbody/tr//text()') #获取列表数据
            pos = 0
            for i in range(20):
                  if i == 0:
                        yield result[i:5]
                  else:
                        yield result[pos:pos+5]   #返回排名生成器数据
                  pos+=5
      except ParseError as e:
            print(e.position)

def write_file(data):   #将数据重新组合成字典写入文件并输出
      for i in data:
            sul={
                  '2024年6月排行':i[0],
                  '2023年6排行':i[1],
                  '开发语言':i[2],
                  '评级':i[3],
                  '变化率':i[4]
            }
            with open('test.txt','a',encoding='utf-8') as f:
                  f.write(json.dumps(sul,ensure_ascii=False) + '\n') #必须格式化数据
                  f.close()
            print(sul)
      return None

def main():
      url='https://www.tiobe.com/tiobe-index/'
      data=one_to_page(url)
      revaule=write_file(data)
      if revaule == None:
            print('ok')


if __name__ == '__main__':
      main()
      

# {'2024年6月排行': '1', '2023年6排行': '1', '开发语言': 'Python', '评级': '23.88%', '变化率': '+8.72%'}
# {'2024年6月排行': '2', '2023年6排行': '3', '开发语言': 'C++', '评级': '11.37%', '变化率': '+0.84%'}
# {'2024年6月排行': '3', '2023年6排行': '4', '开发语言': 'Java', '评级': '10.66%', '变化率': '+1.79%'}
# {'2024年6月排行': '4', '2023年6排行': '2', '开发语言': 'C', '评级': '9.84%', '变化率': '-1.14%'}
# {'2024年6月排行': '5', '2023年6排行': '5', '开发语言': 'C#', '评级': '4.12%', '变化率': '-3.41%'}
# {'2024年6月排行': '6', '2023年6排行': '6', '开发语言': 'JavaScript', '评级': '3.78%', '变化率': '+0.61%'}
# {'2024年6月排行': '7', '2023年6排行': '7', '开发语言': 'SQL', '评级': '2.87%', '变化率': '+1.04%'}
# {'2024年6月排行': '8', '2023年6排行': '8', '开发语言': 'Go', '评级': '2.26%', '变化率': '+0.53%'}
# {'2024年6月排行': '9', '2023年6排行': '12', '开发语言': 'Delphi/Object Pascal', '评级': '2.18%', '变化率': '+0.78%'}
# {'2024年6月排行': '10', '2023年6排行': '9', '开发语言': 'Visual Basic', '评级': '2.04%', '变化率': '+0.52%'}
# {'2024年6月排行': '11', '2023年6排行': '11', '开发语言': 'Fortran', '评级': '1.75%', '变化率': '+0.35%'}
# {'2024年6月排行': '12', '2023年6排行': '15', '开发语言': 'Scratch', '评级': '1.54%', '变化率': '+0.36%'}
# {'2024年6月排行': '13', '2023年6排行': '18', '开发语言': 'Rust', '评级': '1.47%', '变化率': '+0.42%'}
# {'2024年6月排行': '14', '2023年6排行': '10', '开发语言': 'PHP', '评级': '1.14%', '变化率': '-0.37%'}
# {'2024年6月排行': '15', '2023年6排行': '21', '开发语言': 'R', '评级': '1.06%', '变化率': '+0.07%'}
# {'2024年6月排行': '16', '2023年6排行': '13', '开发语言': 'MATLAB', '评级': '0.98%', '变化率': '-0.28%'}
# {'2024年6月排行': '17', '2023年6排行': '14', '开发语言': 'Assembly language', '评级': '0.95%', '变化率': '-0.24%'}
# {'2024年6月排行': '18', '2023年6排行': '19', '开发语言': 'COBOL', '评级': '0.82%', '变化率': '-0.18%'}
# {'2024年6月排行': '19', '2023年6排行': '20', '开发语言': 'Ruby', '评级': '0.82%', '变化率': '-0.17%'}
# {'2024年6月排行': '20', '2023年6排行': '24', '开发语言': 'Prolog', '评级': '0.80%', '变化率': '+0.03%'}
# ok

参考文章

XPath语法 - python学习教程_python基础教程_ python培训_ python入门

相关推荐
玩电脑的辣条哥1 小时前
一台服务器已经有个python3.11版本了，如何手动安装 Python 3.10，两个版本共存
服务器·python·python3.11
weixin_307779131 小时前
PySpark实现ABC_manage_channel逻辑
开发语言·python·spark
海天一色y2 小时前
Pycharm（十六）面向对象进阶
ide·python·pycharm
??? Meggie2 小时前
【Python】保持Selenium稳定爬取的方法（防检测策略）
开发语言·python·selenium
XIE3923 小时前
Browser-use使用教程
python
酷爱码4 小时前
如何通过python连接hive，并对里面的表进行增删改查操作
开发语言·hive·python
蹦蹦跳跳真可爱5894 小时前
Python----深度学习（基于深度学习Pytroch簇分类，圆环分类，月牙分类）
人工智能·pytorch·python·深度学习·分类
Python自动化办公社区8 小时前
Python 3.14：探索新版本的魅力与革新
开发语言·python
weixin_贾9 小时前
最新AI-Python机器学习与深度学习技术在植被参数反演中的核心技术应用
python·机器学习·植被参数·遥感反演
热门推荐
01KGG转MP3工具|非KGM文件|解密音频02从零安装 LLaMA-Factory 微调 Qwen 大模型成功及所有的坑03我决定放弃搞 Java 了04YOLOv5改进 | 添加CA注意力机制 + 增加预测层 + 更换损失函数之GIoU05YOLOv8入门 | 重要性能衡量指标、训练结果评价及分析及影响mAP的因素【发论文关注的指标】06DeepSeek各版本说明与优缺点分析07西电B测-计算机网络综合实验(含验收问题)08yolov8，yolo11，yolo12 服务器训练到部署全流程 笔记09苍穹外卖面试总结10最新 Kubernetes 集群部署 + flannel 网络插件（保姆级教程，最新 K8S 版本）