Beautiful Soup网站:https://www.crummy.com/software/BeautifulSoup/
作用:它能够对HTML.xml格式进行解析,并且提取其中的相关信息。它可以对我们提供的任何格式进行相关的爬取,并且可以进行树形解析。
使用原理:它能够把任何我们给它的文档当作一锅汤,任何给我们煲制这锅汤。
一、安装
目前最常用的版本是Beautiful Soup 4,也就是 bs4 ,所以在导入时 import bs4
就是在导入Beautiful Soup
1.使用管理员权限打开command命令台
2.运行pip install beautifulsoup4
二、Beautiful Soup的安装小测
以下链接为测试链接:This is a python demo page (python123.io)
1.打开该链接查看页面
2.浏览器打开页面后,右击打开"查看页面源代码"(edge,其他浏览器也可),任何将源代码拷贝下来放在我们的程序当中,或者使用上一博文所说的requests库。r.text就是html代码相关的内容。
3.为了简化,我们可以定义一个变量叫做demo,表示这个页面的所有代码的内容
4.导入beautiful soup库:from bs4 import BeautifulSoup
5.除了给出html,还要给出解析demo的解释器:soup= BeautifulSoup(demo,"html.parser")
6.看看安装是否正确:print(soup.prettify())
三、Beautiful Soup库的基本元素
Beautiful Soup库也叫beautifulsoupb4或bs4。bs4库是解析、遍历、维护"标签树"的功能库,只要我们提供的文件是标签类型,那么bs库都能给它做很好的解析。
这个属性是用来定义标签的特点的。
bs库的引用:from bs4 import BeautifulSoup。这说明我们从bs库引入了一个BeautifulSoup模型。如果我们需要bs库里面的一些基本变量进行判断的时候,我们可以直接引用bs库:import bs4.
理解bs:bs本身解析的是html和xml文档,那么这个文档和标签树是一一对应的,那么经过了bs类的处理(把标签树理解为一个字符串,bs就可以把它转化为一个bs类,bs类是一个能代表标签树的类型。)事实上,我们认为html文档,标签树和bs类这三者是等价的,bs对应一个html/xml文档的全部内容。
实际上,每一种解析器它都是可以有效解析html和xml文档的,这里面我们主要使用的是html解析器。
这时候,soup表示我们解析后的demo页面。title标签就是我们页面在浏览器左上方显示位置信息的地方。事实上,所有html语法上的标签都可以使用soup.tag方式访问获得。
当html文档中存在多个相同的tag标签时,我们用soup.tag只能返回其中的第一个。比如刚刚访问的a标签,页面中有两个a标签,却只返回第一个。
获取标签名字的方法:
a.parent表示包裹a的上一级标签。
标签的属性是在标签中标明标签特点的相关区域,它以字典的形式来组织。因为它是字典,我们可以对属性做信息的提取,如下图。
查看标签属性的类型:type(tag.attrs)
需注意,tag标签可以有零个或者多个属性,那么如果没有属性存在的时候,我们使用attrs获得的字典是个空字典,但是无论有属性还是没有属性,我们总能获得一个字典。
获得标签之间的内容:
注释:
我们分别对p和b标签分别用.string的时候,我们都能产生一段文本,但是当这个文本是注释形式的时候,它并没有标明它是注释,所以我们分析文档的时候,我们需要对其中的注释部分做相关的判断,而判断的依据就是它的类型,这种情况在我们分析文本中并不常用,所以做一个基本了解即可。
四、基于bs库的html内容遍历方法
遍历方式:上行遍历、下行遍历、平行遍历
1.下行遍历
对于一个标签的儿子节点并不仅仅包括标签节点,也包括字符串节点,比如像是\n的回车,它也是一个body标签的儿子节点类型,我们可以用len函数获得儿子节点的数量,或者给定数组下标获得对应数据。
2.上行遍历
soup的父亲是空的。
上行遍历代码如下:
3.平行遍历
使用条件:平行遍历发生在同一个付节点的各节点间,不是同一个父节点下的标签之间不构成平行遍历关系。
需注意,在标签树中,尽管数形结构采用的是标签的形式来组织,但是标签之间的navigableString也构成了标签树的节点,也就是说任何一个节点它的平行标签,它的父亲标签,它的儿子标签是可能存在navigableString类型的。
平行遍历代码如下:
总结:
五、基于bs库的html格式化和编码
1.格式化
目的:让html内容更加友好的显示
方案:利用BS库的prettify()方法
prettify()作用:能够为html文本的标签以及内容增加换行符,它也可以对每一个标签来做相关的处理
2.编码
注意,bs4库将任何读入的html文件或者字符串都转换成utf-8编码
可以看见,当我们输入中文的时候,它的结果可以很好的显示出来。
六、信息标记的三种形式
作用:1.标记后的信息可形成信息组织结构,增加信息维度 2.标记后的信息可用于通讯、存储和展示 3.标记的结构与信息用于具有价值 4.标记后的信息更有利于程序理解和运用
HTML的信息标记:HTML是WWW的信息组织方式,可以把声音图像视频等超文本的信息嵌入到文本当中。HTML通过预定义的<>...</>标签形式组织不同类型的信息
现在国际公认的三种信息标记种类:xml、ison、yaml
1.xml
xml,拓展标记语言,与html很接近的标记语言,它采用了以标签为主来构建信息和表达信息。
2.json
json,有类型的键值对 key:value。当一个键值有多个值时,采用[]和逗号隔开。
好处:对于javascript等编程语言来说,可以直接将json格式作为程序的一部分,简化编程。
3.yaml
yaml,无类型的键值对 key:value。通过缩进表示包含关系。
七、三种信息标记形式的比较
表示形式
实例
xml:有效信息占比不高,大多数信息被标签占用
比较
八、信息的提取的一般方法
方法一: 我们需要什么信息,去解析标签树就可以了。好处是你需要什么信息,就能找到这部分的位置。缺点是需要对整个文件的信息组织形式有清楚的认识和理解
方法二:就好像我们使用word一样,根本不需要关心整个word文档具有什么样的标题形式和格式,只需要我们对信息的文本利用函数去查找就可以。
实例:提取HTML中所有URL链接
思路:1.搜索到所有<a>标签 2.解析<a>标签格式,提取href后的链接内容。
九、基于bs4库的html内容查找方法
如果我们给出的标签名是true的话,将显示当前soup的所有标签信息。
当我们需要查询b开头的b和body标签,这需要我们引入正则表达式库(import re)。
soup.find_all(id='link1')表示包含的元素就是属性中id域等于link1的标签元素,当查找的内容html不包含时,则返回空数组。
也就是当进行属性查找的时候,我们必须准确地赋值这个信息,如果我们想查找属性的部分信息,可以考虑引入正则表达式,否则就需要准确查找,不多也不能少。
soup.find_all('a',recursive=False)返回空值,表示它的儿子节点层面上是没有a标签的
查找更多信息 :
简写方式:
<tag>(..) 等价于 <tag>.find_all(..)
soup(..) 等价于 soup.find_all(..)
扩展方法:
十、实例:中国大学排名定向爬虫
基本情况:我们将采取由上海交通大学设计研发的最好大学排名。
【软科排名】2023年最新软科中国大学排名|中国最好大学排名 (shanghairanking.cn)
功能描述:
输入:大虚的排名URL链接
输出:排名、名称、总分
技术路线:requests-bs4
定向爬虫:仅对输入url进行爬取,不拓展爬取其他url。
注意:如果有些数据是通过javascript等脚本语言生成的,也就是说当你访问一个网页的时候,它的信息是动态提取和生成的,在这种情况下,用requests和bs4是无法获取它的信息的。
程序的结构设计与(步骤):1.从网络上获取大学排名网页内容(可以定义一个getHTMLText()函数) 2.提取网页内容中信息到合适的数据结构(定义fillUnivList()) 3.利用数据结构展示并输出结果(定义printUnivList())
实现:
(关于在IDLE中怎么换行继续敲写代码而不执行语句 :按ctrl+n弹出新窗口,在新窗口里面写。)
先写主函数,由于实现了网络请求,我们要import requests库和bs4库
刚才我们定义了三个函数分别对应三个步骤,我们将这三个函数写进来,但由于此时我们还没有对每个函数的内部功能进行设计和实现,所以我们只要写出函数的定义就可以。pass语句表示不做任何操作。
我们将大学信息放在unifo中,给出刚刚页面的链接https://www.shanghairanking.cn/rankings/bcur/202311
然后调用刚刚的三个函数,先将url转换成html,然后信息提取后将html放在unifo中
接着填充第一个函数:设置timeout时间是30秒,然后用raise_for_status来产生异常信息,接着修改编码,然后把网页内容返回给程序的其他部分。
接着填充第二个函数:通过BeautifulSoup库解析网页,将需要的信息加入到一个列表中。if isinstance(tr, bs4.element.Tag): 判断tr标签是不是bs4定义的tag标签,过滤掉不是bs4定义的tag标签,为了使这个代码能够运行,我们需引入一个叫bs4的库
所有代码如下:
import requests
import bs4
from bs4 import BeautifulSoup
def getHTMLText(url):
try:
r = requests.get(url,timeout=30)
r.raise_for_status()
r.encoding = r.apparent_encoding
return r.text
except:
return ""
def fillUnivList(ulist,html):
soup = BeautifulSoup(html, "html.parser")
for tr in soup.find("tbody").children:
if isinstance(tr, bs4.element.Tag):
tds = tr('td')
n = tds[1].find("a").string # 因为大学名字在td标签的子标签a中,所以需要单独提取
ulist.append([tds[0].string, n, tds[4].string])
def printUnivList(ulist,num):
tplt = "{0:^10}{1:{3}^10}{2:^10}"
print(tplt.format("序号", "学校名称", "总分", chr(12288)))
for i in range(num):
u = ulist[i]
a = u[0].strip() # 去掉字符串类两边的空格
b = u[1].strip()
c = u[2].strip()
print(tplt.format(a, b, c, chr(12288)))
def main():
unifo=[]
url='https://www.shanghairanking.cn/rankings/bcur/202311'
html=getHTMLText(url)
fillUnivList(unifo,html)
printUnivList(unifo,20)
main()
美化:采用中文字符的空格进行填充--chr(12288)