Python爬虫批量下载图片

一、思路:

  1. 分析URL,图片的URL内嵌于base_url的返回当中

  2. 下载图片

二、代码

python 复制代码
import time
import requests
import os
from lxml import etree


class DownloadImg():
    '''
    爬虫进行美女图片下载

    '''
    def __init__(self):
        self.url = 'http://xxxxxx/4kmeinv/'
        self.base_url = 'xxxxxxxxxx'
        self.headers = {
                'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/119.0.0.0 Safari/537.36'
            }
        self.page = 1

    #创建图片存储目录
    def create_img_dir(self):
        current_dir = os.path.dirname(__file__)
        img_dir = os.path.join(current_dir,'img')
        if not os.path.exists(img_dir):
            os.makedirs(img_dir)
        return img_dir

    #下载图片
    def download_img(self,url_list):
        for url in url_list:
            res = requests.get(url=url,headers=self.headers).text
            tree = etree.HTML(res)
            self.create_img_dir()
            #解析
            for li in tree.xpath('//div[@class="slist"]/ul/li'):
                img_url = li.xpath('./a/img/@src')[0]
                full_img_url = self.base_url + img_url
                print(full_img_url)
                img_name = full_img_url.split('/')[-1]
                full_img_name = os.path.join(self.create_img_dir(), img_name)
                # 开始下载图片
                with open(full_img_name, 'wb') as fs:
                    content = requests.get(url=full_img_url, headers=self.headers).content
                    fs.write(content)
                    print("{}图片下载完成 ".format(img_name))
                    time.sleep(1)


    #生成图片URL,返回每个page组成的列表
    def get_img_url(self,page):
        url_list = [self.url]
        if page == 1 :
            return url_list
        elif page > 1 :
            '''
            https://xxxxxxx/index_3.html
            '''
            for i in range(1,page+1):
                if i == 1 :
                    continue
                multi_url = self.url + "index_{}.html".format(str(page))
                url_list.append(multi_url)
            return url_list


if __name__ == '__main__':
    #下载页数,2页
    page = 2
    #定义类对象
    down_img = DownloadImg()
    url = down_img.get_img_url(2)
    print(url)
    down_img.download_img(url)
    print("图片全部下载完成,程序退出")
相关推荐
安思派Anspire3 分钟前
LangGraph + MCP + Ollama:构建强大代理 AI 的关键(二)
人工智能·后端·python
站大爷IP7 分钟前
Python文件与目录比较全攻略:从基础操作到性能优化
python
人生在勤,不索何获-白大侠19 分钟前
day16——Java集合进阶(Collection、List、Set)
java·开发语言
LIN-JUN-WEI37 分钟前
[ESP32]VSCODE+ESP-IDF环境搭建及blink例程尝试(win10 win11均配置成功)
c语言·开发语言·ide·vscode·单片机·学习·编辑器
望获linux1 小时前
【Linux基础知识系列】第四十三篇 - 基础正则表达式与 grep/sed
linux·运维·服务器·开发语言·前端·操作系统·嵌入式软件
ahead~1 小时前
【大模型入门】访问GPT_API实战案例
人工智能·python·gpt·大语言模型llm
留不住丨晚霞2 小时前
说说SpringBoot常用的注解?
java·开发语言
大模型真好玩2 小时前
准确率飙升!GraphRAG如何利用知识图谱提升RAG答案质量(额外篇)——大规模文本数据下GraphRAG实战
人工智能·python·mcp
19892 小时前
【零基础学AI】第30讲:生成对抗网络(GAN)实战 - 手写数字生成
人工智能·python·深度学习·神经网络·机器学习·生成对抗网络·近邻算法
华科云商xiao徐2 小时前
Java多线程爬虫动态线程管理实现
java·爬虫·数据挖掘