Python爬虫:BeautifulSoup

安装

打开cmd,键入pip install bs4,下载慢的用清华源

BeautifulSoup

一,概念

bs4数据解析的一种工具,其实和正则表达式差不多的用处,但是bs返回的是网页源代码,我们通过bs4返回的对象可以直接操作标签的标签的各种属性达到加快筛选元素的目的,并且不同于正则表达式,bs4处理过程非常简单(如果你有前端基础的话)。

二,使用

python 复制代码
from bs4 import BeautifulSoup

html = """<ul>
    <li><a href="zhubajie.com">猪八戒</a></li>
    <li id="abc"><a href="zhouxingchi.com">周星驰</a></li>
    <li><a href="zhangwuji.com">张无忌</a></li>
    <li><a href="wuzetian.com">武则天</a></li>
  </ul>"""

#1.初始化BeautifulSoup对象

page = BeautifulSoup(html,features="html.parser")
print(page)

假设我们有一个html文件,通过bs4解析,我们会得到一个bs4对象,html.parser是指用html的格式解析。

输出结果:

1.find方法

python 复制代码
from bs4 import BeautifulSoup
html = """<ul>
    <li><a href="zhubajie.com">猪八戒</a></li>
    <li id="abc"><a href="zhouxingchi.com">周星驰</a></li>
    <li><a href="zhangwuji.com">张无忌</a></li>
    <li><a href="wuzetian.com">武则天</a></li>
  </ul>"""

page = BeautifulSoup(html,features="html.parser")
page.find()#查找某个元素,输入标签名,还可以将属性放入attr字典中
res = page.find("li",attrs={'id':'abc'})#find只找一个,找到就完
print(res)#<li id="abc"><a href="zhouxingchi.com">周星驰</a></li>
a = res.find("a")#可以连续找
print(a)#<a href="zhouxingchi.com">周星驰</a>
print(a.text)#周星驰#获取文本
print(a.get("href"))#zhouxingchi.com#get获取属性

概括一下,find就是用来找标签用的,不用加<>,如果标签具有某些属性,比如说id,class什么的,你就可以用attr(字典) 来直接选中,当然find方法是支持连续的,意思就是找到一个父标签,你可以对父标签再用一次find找到它的子标签,以此类推,非常方便。提一嘴,find只能找一个,找多个要findall方法了

2.findall方法

python 复制代码
from bs4 import BeautifulSoup
html = """<ul>
    <li><a href="zhubajie.com">猪八戒</a></li>
    <li id="abc"><a href="zhouxingchi.com">周星驰</a></li>
    <li><a href="zhangwuji.com">张无忌</a></li>
    <li><a href="wuzetian.com">武则天</a></li>
  </ul>"""

page = BeautifulSoup(html,features="html.parser")
res_ = page.find_all("li")
print(res_)#[<li><a href="zhubajie.com">猪八戒</a></li>, <li id="abc"><a href="zhouxingchi.com">周星驰</a></li>,
           # <li><a href="zhangwuji.com">张无忌</a></li>, <li><a href="wuzetian.com">武则天</a></li>]

res_ = page.find_all("a")
print(res_)#[<a href="zhubajie.com">猪八戒</a>,
           # <a href="zhouxingchi.com">周星驰</a>, <a href="zhangwuji.com">张无忌</a>, <a href="wuzetian.com">武则天</a>]

findall返回的是一个包含所有目标标签的列表,我们可以直接遍历取出来

以上,就是bs4最常用的两个方法了,基本上能用上bs4的情况下这两个方法是够用的。

三,案例

爬取优美图库(可以选其他的网站,步骤是相似的)

python 复制代码
from bs4 import BeautifulSoup
import requests
import os
url = "http://www.umeituku.com/bizhitupian/xiaoqingxinbizhi/"

response = requests.get(url)
content = response.content.decode('utf-8')

label = BeautifulSoup(content,features='html.parser')
div = label.find("div",attrs={'class':'TypeList'})
imgs = div.find_all("img")
srcs = []
for img in imgs:
    src = img.get("src")
    srcs.append(src)
print(srcs)
#下载
os.mkdir('images')
n = 1
for src in srcs:
    img_response = requests.get(src)
    path = './images/'+str(n)+'.jpg'
    with open(path, mode='wb') as f:
        f.write(img_response.content)
    n+=1
相关推荐
看海天一色听风起雨落1 分钟前
Python学习之装饰器
开发语言·python·学习
XiaoMu_00131 分钟前
基于Python+Streamlit的旅游数据分析与预测系统:从数据可视化到机器学习预测的完整实现
python·信息可视化·旅游
THMAIL33 分钟前
深度学习从入门到精通 - 生成对抗网络(GAN)实战:创造逼真图像的魔法艺术
人工智能·python·深度学习·神经网络·机器学习·生成对抗网络·cnn
我没想到原来他们都是一堆坏人2 小时前
(未完待续...)如何编写一个用于构建python web项目镜像的dockerfile文件
java·前端·python
用户Taobaoapi20142 小时前
京东店铺所有商品API技术开发文档
大数据·数据挖掘·数据分析
总有刁民想爱朕ha3 小时前
车牌模拟生成器:Python3.8+Opencv代码实现与商业应用前景(C#、python 开发包SDK)
开发语言·python·数据挖掘
人衣aoa3 小时前
Python编程基础(八) | 类
开发语言·python
大模型真好玩3 小时前
深入浅出LangGraph AI Agent智能体开发教程(四)—LangGraph全生态开发工具使用与智能体部署
人工智能·python·mcp
百锦再4 小时前
脚本语言的大浪淘沙或百花争艳
java·开发语言·人工智能·python·django·virtualenv·pygame
掘技术4 小时前
十个 Python 案例分享
python