【python】网络爬虫与信息提取--Beautiful Soup库

Beautiful Soup网站:https://www.crummy.com/software/BeautifulSoup/

作用:它能够对HTML.xml格式进行解析,并且提取其中的相关信息。它可以对我们提供的任何格式进行相关的爬取,并且可以进行树形解析。

使用原理:它能够把任何我们给它的文档当作一锅汤,任何给我们煲制这锅汤。

一、安装

目前最常用的版本是Beautiful Soup 4,也就是 bs4 ,所以在导入时 import bs4就是在导入Beautiful Soup

1.使用管理员权限打开command命令台

2.运行pip install beautifulsoup4

二、Beautiful Soup的安装小测

以下链接为测试链接:This is a python demo page (python123.io)

1.打开该链接查看页面

2.浏览器打开页面后,右击打开"查看页面源代码"(edge,其他浏览器也可),任何将源代码拷贝下来放在我们的程序当中,或者使用上一博文所说的requests库。r.text就是html代码相关的内容。

3.为了简化,我们可以定义一个变量叫做demo,表示这个页面的所有代码的内容

4.导入beautiful soup库:from bs4 import BeautifulSoup

5.除了给出html,还要给出解析demo的解释器:soup= BeautifulSoup(demo,"html.parser")

6.看看安装是否正确:print(soup.prettify())

三、Beautiful Soup库的基本元素

Beautiful Soup库也叫beautifulsoupb4或bs4。bs4库是解析、遍历、维护"标签树"的功能库,只要我们提供的文件是标签类型,那么bs库都能给它做很好的解析。

这个属性是用来定义标签的特点的。

bs库的引用:from bs4 import BeautifulSoup。这说明我们从bs库引入了一个BeautifulSoup模型。如果我们需要bs库里面的一些基本变量进行判断的时候,我们可以直接引用bs库:import bs4.

理解bs:bs本身解析的是html和xml文档,那么这个文档和标签树是一一对应的,那么经过了bs类的处理(把标签树理解为一个字符串,bs就可以把它转化为一个bs类,bs类是一个能代表标签树的类型。)事实上,我们认为html文档,标签树和bs类这三者是等价的,bs对应一个html/xml文档的全部内容。

实际上,每一种解析器它都是可以有效解析html和xml文档的,这里面我们主要使用的是html解析器。

这时候,soup表示我们解析后的demo页面。title标签就是我们页面在浏览器左上方显示位置信息的地方。事实上,所有html语法上的标签都可以使用soup.tag方式访问获得。

当html文档中存在多个相同的tag标签时,我们用soup.tag只能返回其中的第一个。比如刚刚访问的a标签,页面中有两个a标签,却只返回第一个。

获取标签名字的方法:

a.parent表示包裹a的上一级标签。

标签的属性是在标签中标明标签特点的相关区域,它以字典的形式来组织。因为它是字典,我们可以对属性做信息的提取,如下图。

查看标签属性的类型:type(tag.attrs)

需注意,tag标签可以有零个或者多个属性,那么如果没有属性存在的时候,我们使用attrs获得的字典是个空字典,但是无论有属性还是没有属性,我们总能获得一个字典。

获得标签之间的内容:

注释:

我们分别对p和b标签分别用.string的时候,我们都能产生一段文本,但是当这个文本是注释形式的时候,它并没有标明它是注释,所以我们分析文档的时候,我们需要对其中的注释部分做相关的判断,而判断的依据就是它的类型,这种情况在我们分析文本中并不常用,所以做一个基本了解即可。

四、基于bs库的html内容遍历方法

遍历方式:上行遍历、下行遍历、平行遍历

1.下行遍历

对于一个标签的儿子节点并不仅仅包括标签节点,也包括字符串节点,比如像是\n的回车,它也是一个body标签的儿子节点类型,我们可以用len函数获得儿子节点的数量,或者给定数组下标获得对应数据。

2.上行遍历

soup的父亲是空的。

上行遍历代码如下:

3.平行遍历

使用条件:平行遍历发生在同一个付节点的各节点间,不是同一个父节点下的标签之间不构成平行遍历关系。

需注意,在标签树中,尽管数形结构采用的是标签的形式来组织,但是标签之间的navigableString也构成了标签树的节点,也就是说任何一个节点它的平行标签,它的父亲标签,它的儿子标签是可能存在navigableString类型的。

平行遍历代码如下:

总结:

五、基于bs库的html格式化和编码

1.格式化

目的:让html内容更加友好的显示

方案:利用BS库的prettify()方法

prettify()作用:能够为html文本的标签以及内容增加换行符,它也可以对每一个标签来做相关的处理

2.编码

注意,bs4库将任何读入的html文件或者字符串都转换成utf-8编码

可以看见,当我们输入中文的时候,它的结果可以很好的显示出来。

六、信息标记的三种形式

作用:1.标记后的信息可形成信息组织结构,增加信息维度 2.标记后的信息可用于通讯、存储和展示 3.标记的结构与信息用于具有价值 4.标记后的信息更有利于程序理解和运用

HTML的信息标记:HTML是WWW的信息组织方式,可以把声音图像视频等超文本的信息嵌入到文本当中。HTML通过预定义的<>...</>标签形式组织不同类型的信息

现在国际公认的三种信息标记种类:xml、ison、yaml

1.xml

xml,拓展标记语言,与html很接近的标记语言,它采用了以标签为主来构建信息和表达信息。

2.json

json,有类型的键值对 key:value。当一个键值有多个值时,采用[]和逗号隔开。

好处:对于javascript等编程语言来说,可以直接将json格式作为程序的一部分,简化编程。

3.yaml

yaml,无类型的键值对 key:value。通过缩进表示包含关系。

七、三种信息标记形式的比较

表示形式

实例

xml:有效信息占比不高,大多数信息被标签占用

比较

八、信息的提取的一般方法

方法一: 我们需要什么信息,去解析标签树就可以了。好处是你需要什么信息,就能找到这部分的位置。缺点是需要对整个文件的信息组织形式有清楚的认识和理解

方法二:就好像我们使用word一样,根本不需要关心整个word文档具有什么样的标题形式和格式,只需要我们对信息的文本利用函数去查找就可以。

实例:提取HTML中所有URL链接

思路:1.搜索到所有<a>标签 2.解析<a>标签格式,提取href后的链接内容。

九、基于bs4库的html内容查找方法

如果我们给出的标签名是true的话,将显示当前soup的所有标签信息。

当我们需要查询b开头的b和body标签,这需要我们引入正则表达式库(import re)。

soup.find_all(id='link1')表示包含的元素就是属性中id域等于link1的标签元素,当查找的内容html不包含时,则返回空数组。

也就是当进行属性查找的时候,我们必须准确地赋值这个信息,如果我们想查找属性的部分信息,可以考虑引入正则表达式,否则就需要准确查找,不多也不能少。

soup.find_all('a',recursive=False)返回空值,表示它的儿子节点层面上是没有a标签的

查找更多信息 :

简写方式:

<tag>(..) 等价于 <tag>.find_all(..)

soup(..) 等价于 soup.find_all(..)

扩展方法:

十、实例:中国大学排名定向爬虫

基本情况:我们将采取由上海交通大学设计研发的最好大学排名。

【软科排名】2023年最新软科中国大学排名|中国最好大学排名 (shanghairanking.cn)

功能描述:

输入:大虚的排名URL链接

输出:排名、名称、总分

技术路线:requests-bs4

定向爬虫:仅对输入url进行爬取,不拓展爬取其他url。

注意:如果有些数据是通过javascript等脚本语言生成的,也就是说当你访问一个网页的时候,它的信息是动态提取和生成的,在这种情况下,用requests和bs4是无法获取它的信息的。

程序的结构设计与(步骤):1.从网络上获取大学排名网页内容(可以定义一个getHTMLText()函数) 2.提取网页内容中信息到合适的数据结构(定义fillUnivList()) 3.利用数据结构展示并输出结果(定义printUnivList())

实现:

(关于在IDLE中怎么换行继续敲写代码而不执行语句 :按ctrl+n弹出新窗口,在新窗口里面写。)

先写主函数,由于实现了网络请求,我们要import requests库和bs4库

刚才我们定义了三个函数分别对应三个步骤,我们将这三个函数写进来,但由于此时我们还没有对每个函数的内部功能进行设计和实现,所以我们只要写出函数的定义就可以。pass语句表示不做任何操作。

我们将大学信息放在unifo中,给出刚刚页面的链接https://www.shanghairanking.cn/rankings/bcur/202311

然后调用刚刚的三个函数,先将url转换成html,然后信息提取后将html放在unifo中

接着填充第一个函数:设置timeout时间是30秒,然后用raise_for_status来产生异常信息,接着修改编码,然后把网页内容返回给程序的其他部分。

接着填充第二个函数:通过BeautifulSoup库解析网页,将需要的信息加入到一个列表中。if isinstance(tr, bs4.element.Tag): 判断tr标签是不是bs4定义的tag标签,过滤掉不是bs4定义的tag标签,为了使这个代码能够运行,我们需引入一个叫bs4的库

所有代码如下:

import requests
import bs4
from bs4 import BeautifulSoup
def getHTMLText(url):
    try:
        r = requests.get(url,timeout=30)
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return ""
       


def fillUnivList(ulist,html):
    soup = BeautifulSoup(html, "html.parser")
    for tr in soup.find("tbody").children:
        if isinstance(tr, bs4.element.Tag): 
            tds = tr('td')  
            n = tds[1].find("a").string  # 因为大学名字在td标签的子标签a中,所以需要单独提取
            ulist.append([tds[0].string, n, tds[4].string])


def printUnivList(ulist,num):
    tplt = "{0:^10}{1:{3}^10}{2:^10}"
    print(tplt.format("序号", "学校名称", "总分", chr(12288))) 
    for i in range(num):
        u = ulist[i]
        a = u[0].strip()  # 去掉字符串类两边的空格
        b = u[1].strip()
        c = u[2].strip()
        print(tplt.format(a, b, c, chr(12288)))


	
def main():
    unifo=[]
    url='https://www.shanghairanking.cn/rankings/bcur/202311'
    html=getHTMLText(url)
    fillUnivList(unifo,html)
    printUnivList(unifo,20)
	

main()

美化:采用中文字符的空格进行填充--chr(12288)

相关推荐
legend_jz20 分钟前
【Linux】线程控制
linux·服务器·开发语言·c++·笔记·学习·学习方法
drebander32 分钟前
使用 Java Stream 优雅实现List 转化为Map<key,Map<key,value>>
java·python·list
tangliang_cn41 分钟前
java入门 自定义springboot starter
java·开发语言·spring boot
程序猿阿伟42 分钟前
《智能指针频繁创建销毁:程序性能的“隐形杀手”》
java·开发语言·前端
新知图书1 小时前
Rust编程与项目实战-模块std::thread(之一)
开发语言·后端·rust
威威猫的栗子1 小时前
Python Turtle召唤童年:喜羊羊与灰太狼之懒羊羊绘画
开发语言·python
力透键背1 小时前
display: none和visibility: hidden的区别
开发语言·前端·javascript
bluefox19791 小时前
使用 Oracle.DataAccess.Client 驱动 和 OleDB 调用Oracle 函数的区别
开发语言·c#
ö Constancy1 小时前
c++ 笔记
开发语言·c++
墨染风华不染尘1 小时前
python之开发笔记
开发语言·笔记·python