打卡学习Python爬虫第四天|bs4爬取优美图库的小清新图片

bs4解析比较简单,通过HTML的标签和属性去提取值,find(标签,属性="值")

但是需要了解HTML的语法知识,然后再使用bs4去提取,逻辑和编写难度就会比较简单和清晰。

bs4如何使用?如有如下HTML代码:

html 复制代码
<!DOCTYPE html>
<html lang="en">
<head>
<meta charset="UTF-8">
<meta name="viewport" content="width=device-width, initial-scale=1.0">
<title>Simple HTML Table</title>
</head>
<body>

<table border="1">
  <tr>
    <td>Row 1, Cell 1</td>
    <td>Row 1, Cell 2</td>
  </tr>
  <tr>
    <td>Row 2, Cell 1</td>
    <td>Row 2, Cell 2</td>
  </tr>
  <tr>
    <td>Row 3, Cell 1</td>
    <td>Row 3, Cell 2</td>
  </tr>
</table>

</body>
</html>

bs4利用标签和属性去提取值,在什么代码中table是表格标签,tr是行,td是列。也就是这个HTML表格包含三个行(tr)和六个单元格(td)。

目标:爬取优美图库的小清新图片

思路:通过小清新图片的源代码获取子页面的链接,再将子页面的链接作为一个url,通过循环访问子页面来获取每一个子页面中的图片。

一、安装bs4(PyCharm终端输入)

bash 复制代码
pip install BeautifulSoup4

# 用清华源
pip install beautifulsoup4 -i https://pypi.tuna.tsinghua.edu.cn/simple

二、 找到网页url

三、查看页面源代码

四、获取全部子链接

python 复制代码
import requests
from bs4 import BeautifulSoup

url = 'https://www.umeituku.com/weimeitupian/xiaoqingxintupian/'
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.89 Safari/537.36'
}
resp = requests.get(url, headers=headers)
resp.encoding = 'utf-8'
# print(response.text)
page = BeautifulSoup(resp.text, 'html.parser')
div = page.find("div",class_="TypeList")

alist = div.find_all("a")
for i in alist:
    href = i.get("href")  # 通过get直接拿到属性值,即子页面链接
    print(href)

五、将子页面链接作为新的url访问

六、根据子页面源代码特征提取想要的内容

成功获取图片下载地址:

七、下载并保存图片

完整代码:

python 复制代码
import requests
from bs4 import BeautifulSoup

url = 'https://www.umeituku.com/weimeitupian/xiaoqingxintupian/'
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.89 Safari/537.36'
}
resp = requests.get(url, headers=headers)
resp.encoding = 'utf-8'
# print(response.text)
page = BeautifulSoup(resp.text, 'html.parser')
div = page.find("div",class_="TypeList")

alist = div.find_all("a")
for i in alist:
    href = i.get("href")  # 通过get直接拿到属性值,即子页面链接

    z_resp = requests.get(href)  # href就是子页面的url
    z_resp.encoding = 'utf-8'
    z_page = BeautifulSoup(z_resp.text, 'html.parser')

    # p = z_page.find("p",align="center")
    # img = p.find("img")
    # src = img.get("src")
    src = z_page.find("p",align="center").find("img").get("src")
    # 下载图片
    img_resp = requests.get(src)
    img_resp.content  # 图片二进制数据

    with open("./img/"+src.split("/")[-1], "wb") as f:
        f.write(img_resp.content)
        print("下载成功")
    f.close()
    z_resp.close()
resp.close()
相关推荐
bst@微胖子1 小时前
Python高级语法之selenium
开发语言·python·selenium
Luis Li 的猫猫2 小时前
深度学习中的知识蒸馏
人工智能·经验分享·深度学习·学习·算法
查理零世2 小时前
【蓝桥杯集训·每日一题2025】 AcWing 6118. 蛋糕游戏 python
python·算法·蓝桥杯
魔尔助理顾问3 小时前
一个简洁高效的Flask用户管理示例
后端·python·flask
java1234_小锋3 小时前
一周学会Flask3 Python Web开发-request请求对象与url传参
开发语言·python·flask·flask3
鹿鸣悠悠4 小时前
第二月:学习 NumPy、Pandas 和 Matplotlib 是数据分析和科学计算的基础
学习·numpy·pandas
Java能学吗5 小时前
2.17学习总结
数据结构·学习
诚信爱国敬业友善6 小时前
常见排序方法的总结归类
开发语言·python·算法
靡不有初1116 小时前
CCF-CSP第31次认证第二题——坐标变换(其二)【NA!前缀和思想的细节,输出为0的常见原因】
c++·学习·ccfcsp
架构默片7 小时前
【JAVA工程师从0开始学AI】,第五步:Python类的“七十二变“——当Java的铠甲遇见Python的液态金属
java·开发语言·python