python多线程爬取王者荣耀高清壁纸过程

yma162023-11-15 16:11

多线程与爬虫

目标url

查看http://pvp.qq.com/web201605/wallpaper.shtml

有一个需要注意的就是图片url在html源码中找不到，直接被js渲染了，可以仔细查找访问服务器的url

查看html源码找不到该链接

json中查找url

在一个woKList中

使用csdn的json插件打开，查看链接

这些链接明显不正常需要处理

引用urllib库的parse

按照标准， URL 只允许一部分 ASCII 字符（数字字母和部分符号），其他的字符（如汉字）是不符合 URL 标准的

unqutote进行编码

可以访问，明显看出这分辨率不是高清壁纸

对比高清壁纸

对比高清壁纸：

python获取的url

shp.qpic.cn/ishow/27350...

高清图的url

shp.qpic.cn/ishow/27350...

url结尾的数字是0，处理一下url就可以啦！

访问url

查看RequestURL

添加ua

python 复制代码 
import requests
from  urllib import parse
from lxml import etree
import xlwt


def requests_get(url):#访问url
    headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36",
        "Referer":"http://pvp.qq.com/web201605/wallpaper.shtml",
        "Host": "apps.game.qq.com",
    #     "Cookie": '***'
    #
    }
    htmlText=''
    try:
        resp = requests.get(url, headers=headers)
        htmlText = resp.text  # 返回的不是html
    except Exception as e:
        print(e)
    return htmlText

def deal_url(text):#url进行编码
    return parse.unquote(text)
if __name__=='__main__':
    url='http://apps.game.qq.com/cgi-bin/ams/module/ishow/V1.0/query/workList_inc.cgi?activityId=2735&sVerifyCode=ABCD&sDataType=JSON&iListNum=4&totalpage=0&page=0&iOrder=0&iSortNumClose=1&jsoncallback=jQuery17107221495925873804_1618046009669&iAMSActivityId=51991&_everyRead=true&iTypeId=1&iFlowId=267733&iActId=2735&iModuleId=2735&_=1618046009859'
    print(requests_get(url))

查看打印的内容，ok呼应上了但是，但是数据在jquery中

去掉url中jsoncallback=jQuery

  • 原始
    url='apps.game.qq.com/cgi-bin/ams...&jsoncallback=jQuery17107221495925873804_1618046009669&iAMSActivityId=51991&everyRead=true&iTypeId=1&iFlowId=267733&iActId=2735&iModuleId=2735& =1618046009859'
  • 去掉之后
    url='apps.game.qq.com/cgi-bin/ams...&everyRead=true&iTypeId=1&iFlowId=267733&iActId=2735&iModuleId=2735& =1618046009859'
    返回json的格式

读取json

查看json的list数组

List数组

  • sProdImgNo_[1-8] 对应8张不同分辨率的图片
  • sProdName 图片名字


初步获取图片的名字和8张分辨率不同的图片

python 复制代码 
import requests
from  urllib import parse
from lxml import etree
import xlwt


def requests_get(url):#访问url
    headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36",
        "Referer":"http://pvp.qq.com/web201605/wallpaper.shtml",
        "Host": "apps.game.qq.com",
        "Cookie": '***'

    }
    htmlText=''
    try:
        resp = requests.get(url, headers=headers)
        json_url=resp.json() #返回json
        datas=json_url['List']
        for d in datas:
            img_data=img_url(d)
            img_name=parse.unquote(d['sProdName'])
            print('-'*30)
            print(img_name)
            print(img_data)
            print('-' * 30)
    except Exception as e:
        print(e)
    return htmlText

def img_url(data):#url进行编码
    img_data=[]
    for x in range(1,9):#获取8张分辨率不同的图片
        img_url=parse.unquote(data['sProdImgNo_%d'%x].replace('200','0'))#替换为高清的url
        img_data.append(img_url)
    return img_data

if __name__=='__main__':
    url = 'http://apps.game.qq.com/cgi-bin/ams/module/ishow/V1.0/query/workList_inc.cgi?activityId=2735&sVerifyCode=ABCD&sDataType=JSON&iListNum=4&totalpage=0&page=0&iOrder=0&iSortNumClose=1&iAMSActivityId=51991&_everyRead=true&iTypeId=1&iFlowId=267733&iActId=2735&iModuleId=2735&_=1618046009859'
    print(requests_get(url))

全部图片

只是获取4个英雄的图片

修改iListNum=20获取20个英雄的

修改page实现翻页

python 复制代码 
url='''http://apps.game.qq.com/cgi-
bin/ams/module/ishow/V1.0/query/workList_inc.cgi?
activityId=2735&sVerifyCode=ABCD&sDataType=JSON
&iListNum=4
&totalpage=0
&page=0
&iOrder=0
&iSortNumClose=1&iAMSActivityId=51991&_everyRead=true&iTypeId=1&iFlowId=267733&iActId=2735&iModuleId=2735&_=1618046009859'''

粗暴的单线程获取

python 复制代码 
import requests
from  urllib import parse,request
import os
def requests_get(url):#访问url
    headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36",
        "Referer":"http://pvp.qq.com/web201605/wallpaper.shtml",
        "Host": "apps.game.qq.com",
        "Cookie": '***'
    }
    try:
        resp = requests.get(url, headers=headers)
        json_url=resp.json() #返回json
        datas=json_url['List']
        for d in datas:
            img_data=img_url(d)
            img_name=parse.unquote(d['sProdName']).replace("1:1",'').strip()
            dirpath = os.path.join('images',img_name)
            if not os.path.exists(dirpath):
                os.mkdir(dirpath)  # 创建目录
            for index,image_url in enumerate(img_data):#枚举
                request.urlretrieve(image_url,os.path.join(dirpath,'%d.jpg'%(index+1)))
                print('%s下载完成'%(image_url))
    except Exception as e:
        print(e)
    return True

def img_url(data):#url进行编码
    img_data=[]
    for x in range(1,9):#获取8张分辨率不同的图片
        img_url=parse.unquote(data['sProdImgNo_%d'%x].replace('200','0'))#替换为高清的url
        img_data.append(img_url)
    return img_data

if __name__=='__main__':
    url = 'http://apps.game.qq.com/cgi-bin/ams/module/ishow/V1.0/query/workList_inc.cgi?activityId=2735&sVerifyCode=ABCD&sDataType=JSON&iListNum=40&totalpage=0&page={page}&iOrder=0&iSortNumClose=1&iAMSActivityId=51991&_everyRead=true&iTypeId=1&iFlowId=267733&iActId=2735&iModuleId=2735&_=1618046009859'
    for i in range(1,18):
        url=url.format(page=i)#替换页码
        requests_get(url)

多线程执行

模拟生产者消费者

python 复制代码 
import requests
from  urllib import parse,request
import os
import threading
from queue import Queue

headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36",
    "Referer": "http://pvp.qq.com/web201605/wallpaper.shtml",
    "Host": "apps.game.qq.com",
    "Cookie": '***'

}
class Producer(threading.Thread):
    def __init__(self,page_que,img_que,*arges,**kwargs):
        threading.Thread.__init__(self)#重写
        self.page_que=page_que
        self.img_que=img_que
    def run(self)->None:
        while not self.page_que.empty():
            page_url=self.page_que.get()
            try:
                resp = requests.get(page_url, headers=headers)
                json_url = resp.json()  # 返回json
                datas = json_url['List']
                for d in datas:
                    img_data = img_url(d)
                    img_name = parse.unquote(d['sProdName']).replace("1:1", '').strip()
                    dirpath = os.path.join('images', img_name)
                    if not os.path.exists(dirpath):
                        os.mkdir(dirpath)  # 创建目录
                    for index, image_url in enumerate(img_data):  # 枚举
                        self.img_que.put({'image_url':image_url,'img_path':os.path.join(dirpath, '%d.jpg' % (index + 1))})#图片路径加入队列
            except Exception as e:
                print(e)
            #执行某一页的获取url
            #下载

class Consumer(threading.Thread):#下载图片
    def __init__(self,img_que,*arges,**kwargs):
        threading.Thread.__init__(self)
        self.img_que=img_que
    def run(self)->None:
        while True:
            try:
                img_obj = self.img_que.get(timeout=8)
                img_url = img_obj.get('image_url')
                img_path = img_obj.get('img_path')
                try:
                    request.urlretrieve(img_url, img_path)
                    print('%s下载完成' % (img_path))
                except:
                    print('%s下载失败' % (img_path))
            except:
                break

def img_url(data):#url进行编码
    img_data=[]
    for x in range(1,9):#获取8张分辨率不同的图片
        img_url=parse.unquote(data['sProdImgNo_%d'%x].replace('200','0'))#替换为高清的url
        img_data.append(img_url)
    return img_data

if __name__=='__main__':
    url = 'http://apps.game.qq.com/cgi-bin/ams/module/ishow/V1.0/query/workList_inc.cgi?activityId=2735&sVerifyCode=ABCD&sDataType=JSON&iListNum=40&totalpage=0&page={page}&iOrder=0&iSortNumClose=1&iAMSActivityId=51991&_everyRead=true&iTypeId=1&iFlowId=267733&iActId=2735&iModuleId=2735&_=1618046009859'
    page_queue=Queue(18)# 18页
    img_queue=Queue(1000)#
    for i in range(1,18):
        url=url.format(page=i)#替换页码
        page_queue.put(url)#页面url提取
    for i in range(3):
        th1=Producer(page_queue,img_queue,name='生产者%s号'%i)
        th1.start()
    for i in range(5):
        th1=Consumer(img_queue,name='消费者%s号'%i)
        th1.start()

抓取成功！

相关推荐
罗_三金20 分钟前
前端框架对比和选择？
javascript·前端框架·vue·react·angular
Fan_web1 小时前
JavaScript高级——闭包应用-自定义js模块
开发语言·前端·javascript·css·html
叫我：松哥1 小时前
基于Python flask的医院管理学院，医生能够增加/删除/修改/删除病人的数据信息，有可视化分析
javascript·后端·python·mysql·信息可视化·flask·bootstrap
好名字08212 小时前
monorepo基础搭建教程（从0到1 pnpm+monorepo+vue）
前端·javascript
c#上位机2 小时前
C#事件的用法
java·javascript·c#
万物得其道者成3 小时前
React Zustand状态管理库的使用
开发语言·javascript·ecmascript
小白小白从不日白3 小时前
react hooks--useReducer
前端·javascript·react.js
下雪天的夏风3 小时前
TS - tsconfig.json 和 tsconfig.node.json 的关系，如何在TS 中使用 JS 不报错
前端·javascript·typescript
diygwcom3 小时前
electron-updater实现electron全量版本更新
前端·javascript·electron
volodyan3 小时前
electron react离线使用monaco-editor
javascript·react.js·electron
热门推荐
01RAG 实践- Ollama+RagFlow 部署本地知识库02组基轨迹建模 GBTM的介绍与实现（Stata 或 R）032024年高教社杯数学建模国赛C题超详细解题思路分析04苍穹外卖面试总结05yolov8实战第五天——yolov8+ffmpg实时视频流检测并进行实时推流——（推流，保姆教学）06【2024数模国赛赛题思路公开】国赛B题思路丨附可运行代码丨无偿自提07Coze扣子平台完整体验和实践（附国内和国际版对比）08CCF-CSP认证考试 202406-3 文本分词 100分题解09【2024高教社杯全国大学生数学建模竞赛】B题 生产过程中的决策问题——解题思路 代码 论文10借助 LocatorJS ，快速定位本地代码