7篇Python爬虫实例,直接代码可运行,全网最全,注释超详细(适合收藏)——2、爬取图片信息。

7篇Python爬虫实例,可直接运行,适合收藏

python爬虫7篇实例,分七个文章进行发布;第二篇:爬取图片信息。

  • 爬取图片信息,并将每张图片都下载下来。

爬虫主要三部分:

1、获取数据

2、数据解析

3、调用函数

  • 先上完整代码: 代码后面进行一步步解析。
python 复制代码
import requests
from bs4 import BeautifulSoup
import os

index = range(2,5)
urls = []
for i in index:
    urls.append(f'https://pic.netbian.com/4kdongman/index_{i}.html')

# https://pic.netbian.com/tupian/34851.html

# 传入单个网页,获取网页上所有得图片链接
def craw_single_url(url):
    re = requests.get(url)
    re.encoding = 'gbk'
    soup = BeautifulSoup(re.text,'html.parser')
    pics_links = soup.find_all('img')
    links = []
    for link in pics_links:
        if 'uploads' not in link['src']:
            continue
        links.append(f'https://pic.netbian.com{link['src']}')
    return links

# 传入图片链接,将图片下载到文件夹中
def imgs_download(links):
    for link in links:
        re = requests.get(link)
        pic_name = os.path.basename(link)
        with open(f'图片/{pic_name}','wb') as f:   # w : 写入 b : 二进制写入
            f.write(re.content)

# 循环爬取的网页链接,将所有网页的 links 放入元组中
links = []
for url in urls:
    for link in craw_single_url(url):
        links.append(link)

# 将所有的 link 图片下载下来
imgs_download(links)

1、获取数据

  • 该函数是获取该 url 链接下所有图片的链接
  • 函数返回值是:所有图片的链接
python 复制代码
def craw_single_url(url):
    re = requests.get(url)          # 请求 url
    re.encoding = 'gbk'             # gbk格式
    soup = BeautifulSoup(re.text,'html.parser')     # 创建一个 BeautifulSoup 对象,之后对其解析
    pics_links = soup.find_all('img')                       # 在soup 中找到 img 的链接
    links = []
    for link in pics_links:                                 # 循环每个链接
        if 'uploads' not in link['src']:                    # 判断是否正确的链接
            continue
        links.append(f'https://pic.netbian.com{link['src']}')   # 构建真正的图片链接
    return links

2、数据解析

  • 对获取到的图片 urls 进行解析
  • 循环 urls 下载图片到指定文件中
python 复制代码
def imgs_download(links):                       # 下载图片函数
    for link in links:                          # 对传入图片链接进行循环
        re = requests.get(link)                 # 请求单个链接
        pic_name = os.path.basename(link)       # 获得图片的名字
        with open(f'图片/{pic_name}','wb') as f: # 打开 图片 文件夹进行写入 w : 写入 b : 二进制写入
            f.write(re.content)                 # 将图片保存到 图片 文件夹

3、进行调用

python 复制代码
# 循环爬取的网页链接,将所有网页的 links 放入元组中
links = []              
for url in urls:                        # 循环每个页面
    for link in craw_single_url(url):   # 将每个页面得到的图片urls,放入 links列表   
        links.append(link)              # 放入 links列表   

# 将所有的 link 图片下载下来
imgs_download(links)                    # 再调用 imgs_download 函数,对每张图片进行下载
相关推荐
TF男孩1 小时前
ARQ:一款低成本的消息队列,实现每秒万级吞吐
后端·python·消息队列
该用户已不存在6 小时前
Mojo vs Python vs Rust: 2025年搞AI,该学哪个?
后端·python·rust
站大爷IP8 小时前
Java调用Python的5种实用方案:从简单到进阶的全场景解析
python
用户83562907805113 小时前
从手动编辑到代码生成:Python 助你高效创建 Word 文档
后端·python
侃侃_天下13 小时前
最终的信号类
开发语言·c++·算法
c8i13 小时前
python中类的基本结构、特殊属性于MRO理解
python
echoarts14 小时前
Rayon Rust中的数据并行库入门教程
开发语言·其他·算法·rust
liwulin050614 小时前
【ESP32-CAM】HELLO WORLD
python
Aomnitrix14 小时前
知识管理新范式——cpolar+Wiki.js打造企业级分布式知识库
开发语言·javascript·分布式
Doris_202314 小时前
Python条件判断语句 if、elif 、else
前端·后端·python