Python从指定网页上下载所有图片到本地存储路径(PyCharm实现)

运行前需要准备必要的包,`requests` 用于发起 HTTP 请求,`BeautifulSoup` 来自 bs4 用于解析 HTML,`urljoin` 来自 urllib.parse 用于拼接 URL,以及 `urlretrieve` 来自 urllib.request 用于下载文件。

python 复制代码
import os
import requests
from bs4 import BeautifulSoup
from urllib.parse import urljoin
from urllib.request import urlretrieve

先定义 download_images 函数,接受 url(包含图片的网页的URL)和 save_dir(保存图像的目录)这两个参数,再检查指定的目录 save_dir 是否不存在,如果不存在,则使用os.makedirs(save_dir) 创建该目录。用 requests.get(url) 发送 HTTP GET 请求到 url 变量中指定的 URL。用 response.raise_for_status() 来检查请求是否成功,否则会引发异常。用 BeautifulSoup 和 html.parser 这个解析器来解析响应内容。用 soup.find_all('img') 找到 HTML 内容中的所有图像标签。

python 复制代码
def download_images(url, save_dir):
    if not os.path.exists(save_dir):
        os.makedirs(save_dir)
    response = requests.get(url)#发送http请求
    response.raise_for_status()  # 如果请求失败,抛出异常
    soup = BeautifulSoup(response.text, 'html.parser')#解析界面
    image_links = soup.find_all('img')

在函数中遍历找到的每个图像标签,并提取包含图像 URL 的 src 属性。如果图像 URL 是相对路径,则使用 urljoin(url, img_url) 将其转换为绝对 URL。图像名称通过提取 URL 的最后一部分(img_url.split('/')[-1])并与保存目录路径连接而确定,使用 os.path.join、urlretrieve(img_url, img_name) 从 URL 下载图像,并将其保存到指定目录。

python 复制代码
    for img in image_links:
        img_url = img.get('src')
        if not img_url.startswith(('http://','https://')):#相对转绝对路径
            img_url = urljoin(url, img_url)
        img_name = os.path.join(save_dir, img_url.split('/')[-1])
        urlretrieve(img_url, img_name)
        print(f"Downloaded: {img_name}")

最后用实际要从中提取图像的网页的 URL 和要保存图像的目录路径替换占位符 `"https://"` 和 `"D:\"`。

总代码如下:

python 复制代码
import os
import requests
from bs4 import BeautifulSoup
from urllib.parse import urljoin
from urllib.request import urlretrieve

def download_images(url, save_dir):
    if not os.path.exists(save_dir):
        os.makedirs(save_dir)
    response = requests.get(url)#发送http请求
    response.raise_for_status()  # 如果请求失败,抛出异常
    soup = BeautifulSoup(response.text, 'html.parser')#解析界面
    image_links = soup.find_all('img')
    for img in image_links:
        img_url = img.get('src')
        if not img_url.startswith(('http://','https://')):#相对转绝对路径
            img_url = urljoin(url, img_url)
        img_name = os.path.join(save_dir, img_url.split('/')[-1])
        urlretrieve(img_url, img_name)
        print(f"Downloaded: {img_name}")

url = "https://"#你要爬取的网页
save_dir = "D:\"#存储路径
download_images(url, save_dir)
相关推荐
用户8356290780513 小时前
从手动编辑到代码生成:Python 助你高效创建 Word 文档
后端·python
侃侃_天下3 小时前
最终的信号类
开发语言·c++·算法
c8i3 小时前
python中类的基本结构、特殊属性于MRO理解
python
echoarts3 小时前
Rayon Rust中的数据并行库入门教程
开发语言·其他·算法·rust
liwulin05063 小时前
【ESP32-CAM】HELLO WORLD
python
Aomnitrix3 小时前
知识管理新范式——cpolar+Wiki.js打造企业级分布式知识库
开发语言·javascript·分布式
Doris_20234 小时前
Python条件判断语句 if、elif 、else
前端·后端·python
Doris_20234 小时前
Python 模式匹配match case
前端·后端·python
每天回答3个问题4 小时前
UE5C++编译遇到MSB3073
开发语言·c++·ue5
伍哥的传说4 小时前
Vite Plugin PWA – 零配置构建现代渐进式Web应用
开发语言·前端·javascript·web app·pwa·service worker·workbox