爬虫学习笔记-requests爬取王者荣耀皮肤图片

1.导入所需的包

复制代码
import requests
from lxml import etree
import os
from time import sleep

2.定义请求头

复制代码
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/111.0.0.0 Safari/537.36'}

3.发送请求

复制代码
# hero_list_url请求时得到的英雄列表json文件
hero_list_url = 'https://pvp.qq.com/web201605/js/herolist.json'
hero_list_resp = requests.get(hero_list_url,headers=headers)

4.遍历响应的json文件列表,如果英雄的中文名称(cname)对应的目录不存在,代码会创建这个目录。这是为了将下载的皮肤图片保存到正确的位置。

复制代码
for h in hero_list_resp.json():
    ename=h.get('ename')
    cname=h.get('cname')
    skin_name=h.get('skin_name')
    names=(skin_name.split('|'))
    if not os.path.exists(cname):
        os.makedirs(cname)

5.为每个皮肤名称发起一个HTTP GET请求,从指定的URL下载图片。URL中的{ename}{i+1}是动态部分,分别代表英雄的英文名称和皮肤的序号,

下载的图片被保存到之前创建的目录中,文件名是皮肤的名称

复制代码
for i,n in enumerate(names):
    resp = requests.get(f'https://game.gtimg.cn/images/yxzj/img201606/skin/hero-info/{ename}/{ename}-bigskin-{i+1}.jpg')
    with open(f'{cname}/{n}.jpg','wb') as f:
        f.write(resp.content)
    print(f'已下载:{cname}的{n}皮肤')
    sleep(2)

6.下载完成

7.源码

python 复制代码
import requests
from lxml import etree
import os
from time import sleep
#伪装
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/111.0.0.0 Safari/537.36'}
#发送请求
hero_list_url = 'https://pvp.qq.com/web201605/js/herolist.json'
hero_list_resp = requests.get(hero_list_url,headers=headers)
# print(hero_list_resp.text)
for h in hero_list_resp.json():
    ename=h.get('ename')
    cname=h.get('cname')
    skin_name=h.get('skin_name')
    names=(skin_name.split('|'))
    if not os.path.exists(cname):
        os.makedirs(cname)
    # # 访问英雄主页
    # hero_info_url = f'https://pvp.qq.com/web201605/herodetail/{ename}.shtml'
    # hero_info_resp = requests.get(hero_info_url,headers=headers)
    # hero_info_resp.encoding='gbk'
    # e = etree.HTML(hero_info_resp.text)
    # names = e.xpath('//ul[@class="pic-pf-list pic-pf-list3"]/@data-imgname')[0]
    # names = [name[0:name.index('&')] for name in names.split('|')]
#发送请求
    for i,n in enumerate(names):
        resp = requests.get(f'https://game.gtimg.cn/images/yxzj/img201606/skin/hero-info/{ename}/{ename}-bigskin-{i+1}.jpg')
        with open(f'{cname}/{n}.jpg','wb') as f:
            f.write(resp.content)
        print(f'已下载:{cname}的{n}皮肤')
        sleep(2)
相关推荐
Han.miracle28 分钟前
数据结构——二叉树的从前序与中序遍历序列构造二叉树
java·数据结构·学习·算法·leetcode
知识分享小能手2 小时前
uni-app 入门学习教程,从入门到精通,uni-app基础扩展 —— 详细知识点与案例(3)
vue.js·学习·ui·微信小程序·小程序·uni-app·编程
●VON3 小时前
重生之我在大学自学鸿蒙开发第九天-《分布式流转》
学习·华为·云原生·harmonyos·鸿蒙
无妄无望3 小时前
docker学习(4)容器的生命周期与资源控制
java·学习·docker
Larry_Yanan5 小时前
QML学习笔记(四十二)QML的MessageDialog
c++·笔记·qt·学习·ui
能不能别报错6 小时前
K8s学习笔记(十九) K8s资源限制
笔记·学习·kubernetes
sulikey7 小时前
【Linux权限机制深入理解】为何没有目录写权限仍能修改文件权限?
linux·运维·笔记·ubuntu·centos
十安_数学好题速析7 小时前
倍数关系:最多能选出多少个数
笔记·学习·高考
vue学习7 小时前
docker 学习dockerfile 构建 Nginx 镜像-部署 nginx 静态网
java·学习·docker
Hello_Embed7 小时前
STM32 环境监测项目笔记(一):DHT11 温湿度传感器原理与驱动实现
c语言·笔记·stm32·单片机·嵌入式软件