【python】网络爬虫与信息提取--Beautiful Soup库

Beautiful Soup网站:https://www.crummy.com/software/BeautifulSoup/

作用:它能够对HTML.xml格式进行解析,并且提取其中的相关信息。它可以对我们提供的任何格式进行相关的爬取,并且可以进行树形解析。

使用原理:它能够把任何我们给它的文档当作一锅汤,任何给我们煲制这锅汤。

一、安装

目前最常用的版本是Beautiful Soup 4,也就是 bs4 ,所以在导入时 import bs4就是在导入Beautiful Soup

1.使用管理员权限打开command命令台

2.运行pip install beautifulsoup4

二、Beautiful Soup的安装小测

以下链接为测试链接:This is a python demo page (python123.io)

1.打开该链接查看页面

2.浏览器打开页面后,右击打开"查看页面源代码"(edge,其他浏览器也可),任何将源代码拷贝下来放在我们的程序当中,或者使用上一博文所说的requests库。r.text就是html代码相关的内容。

3.为了简化,我们可以定义一个变量叫做demo,表示这个页面的所有代码的内容

4.导入beautiful soup库:from bs4 import BeautifulSoup

5.除了给出html,还要给出解析demo的解释器:soup= BeautifulSoup(demo,"html.parser")

6.看看安装是否正确:print(soup.prettify())

三、Beautiful Soup库的基本元素

Beautiful Soup库也叫beautifulsoupb4或bs4。bs4库是解析、遍历、维护"标签树"的功能库,只要我们提供的文件是标签类型,那么bs库都能给它做很好的解析。

这个属性是用来定义标签的特点的。

bs库的引用:from bs4 import BeautifulSoup。这说明我们从bs库引入了一个BeautifulSoup模型。如果我们需要bs库里面的一些基本变量进行判断的时候,我们可以直接引用bs库:import bs4.

理解bs:bs本身解析的是html和xml文档,那么这个文档和标签树是一一对应的,那么经过了bs类的处理(把标签树理解为一个字符串,bs就可以把它转化为一个bs类,bs类是一个能代表标签树的类型。)事实上,我们认为html文档,标签树和bs类这三者是等价的,bs对应一个html/xml文档的全部内容。

实际上,每一种解析器它都是可以有效解析html和xml文档的,这里面我们主要使用的是html解析器。

这时候,soup表示我们解析后的demo页面。title标签就是我们页面在浏览器左上方显示位置信息的地方。事实上,所有html语法上的标签都可以使用soup.tag方式访问获得。

当html文档中存在多个相同的tag标签时,我们用soup.tag只能返回其中的第一个。比如刚刚访问的a标签,页面中有两个a标签,却只返回第一个。

获取标签名字的方法:

a.parent表示包裹a的上一级标签。

标签的属性是在标签中标明标签特点的相关区域,它以字典的形式来组织。因为它是字典,我们可以对属性做信息的提取,如下图。

查看标签属性的类型:type(tag.attrs)

需注意,tag标签可以有零个或者多个属性,那么如果没有属性存在的时候,我们使用attrs获得的字典是个空字典,但是无论有属性还是没有属性,我们总能获得一个字典。

获得标签之间的内容:

注释:

我们分别对p和b标签分别用.string的时候,我们都能产生一段文本,但是当这个文本是注释形式的时候,它并没有标明它是注释,所以我们分析文档的时候,我们需要对其中的注释部分做相关的判断,而判断的依据就是它的类型,这种情况在我们分析文本中并不常用,所以做一个基本了解即可。

四、基于bs库的html内容遍历方法

遍历方式:上行遍历、下行遍历、平行遍历

1.下行遍历

对于一个标签的儿子节点并不仅仅包括标签节点,也包括字符串节点,比如像是\n的回车,它也是一个body标签的儿子节点类型,我们可以用len函数获得儿子节点的数量,或者给定数组下标获得对应数据。

2.上行遍历

soup的父亲是空的。

上行遍历代码如下:

3.平行遍历

使用条件:平行遍历发生在同一个付节点的各节点间,不是同一个父节点下的标签之间不构成平行遍历关系。

需注意,在标签树中,尽管数形结构采用的是标签的形式来组织,但是标签之间的navigableString也构成了标签树的节点,也就是说任何一个节点它的平行标签,它的父亲标签,它的儿子标签是可能存在navigableString类型的。

平行遍历代码如下:

总结:

五、基于bs库的html格式化和编码

1.格式化

目的:让html内容更加友好的显示

方案:利用BS库的prettify()方法

prettify()作用:能够为html文本的标签以及内容增加换行符,它也可以对每一个标签来做相关的处理

2.编码

注意,bs4库将任何读入的html文件或者字符串都转换成utf-8编码

可以看见,当我们输入中文的时候,它的结果可以很好的显示出来。

六、信息标记的三种形式

作用:1.标记后的信息可形成信息组织结构,增加信息维度 2.标记后的信息可用于通讯、存储和展示 3.标记的结构与信息用于具有价值 4.标记后的信息更有利于程序理解和运用

HTML的信息标记:HTML是WWW的信息组织方式,可以把声音图像视频等超文本的信息嵌入到文本当中。HTML通过预定义的<>...</>标签形式组织不同类型的信息

现在国际公认的三种信息标记种类:xml、ison、yaml

1.xml

xml,拓展标记语言,与html很接近的标记语言,它采用了以标签为主来构建信息和表达信息。

2.json

json,有类型的键值对 key:value。当一个键值有多个值时,采用[]和逗号隔开。

好处:对于javascript等编程语言来说,可以直接将json格式作为程序的一部分,简化编程。

3.yaml

yaml,无类型的键值对 key:value。通过缩进表示包含关系。

七、三种信息标记形式的比较

表示形式

实例

xml:有效信息占比不高,大多数信息被标签占用

比较

八、信息的提取的一般方法

方法一: 我们需要什么信息,去解析标签树就可以了。好处是你需要什么信息,就能找到这部分的位置。缺点是需要对整个文件的信息组织形式有清楚的认识和理解

方法二:就好像我们使用word一样,根本不需要关心整个word文档具有什么样的标题形式和格式,只需要我们对信息的文本利用函数去查找就可以。

实例:提取HTML中所有URL链接

思路:1.搜索到所有<a>标签 2.解析<a>标签格式,提取href后的链接内容。

九、基于bs4库的html内容查找方法

如果我们给出的标签名是true的话,将显示当前soup的所有标签信息。

当我们需要查询b开头的b和body标签,这需要我们引入正则表达式库(import re)。

soup.find_all(id='link1')表示包含的元素就是属性中id域等于link1的标签元素,当查找的内容html不包含时,则返回空数组。

也就是当进行属性查找的时候,我们必须准确地赋值这个信息,如果我们想查找属性的部分信息,可以考虑引入正则表达式,否则就需要准确查找,不多也不能少。

soup.find_all('a',recursive=False)返回空值,表示它的儿子节点层面上是没有a标签的

查找更多信息 :

简写方式:

<tag>(..) 等价于 <tag>.find_all(..)

soup(..) 等价于 soup.find_all(..)

扩展方法:

十、实例:中国大学排名定向爬虫

基本情况:我们将采取由上海交通大学设计研发的最好大学排名。

【软科排名】2023年最新软科中国大学排名|中国最好大学排名 (shanghairanking.cn)

功能描述:

输入:大虚的排名URL链接

输出:排名、名称、总分

技术路线:requests-bs4

定向爬虫:仅对输入url进行爬取,不拓展爬取其他url。

注意:如果有些数据是通过javascript等脚本语言生成的,也就是说当你访问一个网页的时候,它的信息是动态提取和生成的,在这种情况下,用requests和bs4是无法获取它的信息的。

程序的结构设计与(步骤):1.从网络上获取大学排名网页内容(可以定义一个getHTMLText()函数) 2.提取网页内容中信息到合适的数据结构(定义fillUnivList()) 3.利用数据结构展示并输出结果(定义printUnivList())

实现:

(关于在IDLE中怎么换行继续敲写代码而不执行语句 :按ctrl+n弹出新窗口,在新窗口里面写。)

先写主函数,由于实现了网络请求,我们要import requests库和bs4库

刚才我们定义了三个函数分别对应三个步骤,我们将这三个函数写进来,但由于此时我们还没有对每个函数的内部功能进行设计和实现,所以我们只要写出函数的定义就可以。pass语句表示不做任何操作。

我们将大学信息放在unifo中,给出刚刚页面的链接https://www.shanghairanking.cn/rankings/bcur/202311

然后调用刚刚的三个函数,先将url转换成html,然后信息提取后将html放在unifo中

接着填充第一个函数:设置timeout时间是30秒,然后用raise_for_status来产生异常信息,接着修改编码,然后把网页内容返回给程序的其他部分。

接着填充第二个函数:通过BeautifulSoup库解析网页,将需要的信息加入到一个列表中。if isinstance(tr, bs4.element.Tag): 判断tr标签是不是bs4定义的tag标签,过滤掉不是bs4定义的tag标签,为了使这个代码能够运行,我们需引入一个叫bs4的库

所有代码如下:

import requests
import bs4
from bs4 import BeautifulSoup
def getHTMLText(url):
    try:
        r = requests.get(url,timeout=30)
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return ""
       


def fillUnivList(ulist,html):
    soup = BeautifulSoup(html, "html.parser")
    for tr in soup.find("tbody").children:
        if isinstance(tr, bs4.element.Tag): 
            tds = tr('td')  
            n = tds[1].find("a").string  # 因为大学名字在td标签的子标签a中,所以需要单独提取
            ulist.append([tds[0].string, n, tds[4].string])


def printUnivList(ulist,num):
    tplt = "{0:^10}{1:{3}^10}{2:^10}"
    print(tplt.format("序号", "学校名称", "总分", chr(12288))) 
    for i in range(num):
        u = ulist[i]
        a = u[0].strip()  # 去掉字符串类两边的空格
        b = u[1].strip()
        c = u[2].strip()
        print(tplt.format(a, b, c, chr(12288)))


	
def main():
    unifo=[]
    url='https://www.shanghairanking.cn/rankings/bcur/202311'
    html=getHTMLText(url)
    fillUnivList(unifo,html)
    printUnivList(unifo,20)
	

main()

美化:采用中文字符的空格进行填充--chr(12288)

相关推荐
&岁月不待人&17 分钟前
Kotlin by lazy和lateinit的使用及区别
android·开发语言·kotlin
StayInLove20 分钟前
G1垃圾回收器日志详解
java·开发语言
无尽的大道28 分钟前
Java字符串深度解析:String的实现、常量池与性能优化
java·开发语言·性能优化
爱吃生蚝的于勒31 分钟前
深入学习指针(5)!!!!!!!!!!!!!!!
c语言·开发语言·数据结构·学习·计算机网络·算法
binishuaio41 分钟前
Java 第11天 (git版本控制器基础用法)
java·开发语言·git
zz.YE43 分钟前
【Java SE】StringBuffer
java·开发语言
就是有点傻1 小时前
WPF中的依赖属性
开发语言·wpf
洋2401 小时前
C语言常用标准库函数
c语言·开发语言
进击的六角龙1 小时前
Python中处理Excel的基本概念(如工作簿、工作表等)
开发语言·python·excel
wrx繁星点点1 小时前
状态模式(State Pattern)详解
java·开发语言·ui·设计模式·状态模式