用DrissionPage过某里滑块分析

最近我又在找工作了,悲哀啊~,面试官给了一道题,要求如下:

爬虫机试:https://detail.1688.com/offer/643272204627.html 过该链接的滑动验证码,拿到正确的商品信息页html,提取出商品维度的信息,输出json

由于时间紧迫,想着去破解加密参数x5sec估计时间也不够,最后采用自动化工具先应付一下面试,毕竟能不能入职还是未知数。

言归正传,先看效果图如下:

众所周知阿里的滑块检测是比较多的,常规的自动化工具无法过滑块。所有这次尝试用DrissionPage去破解。

DrissionPage文档地址如下:

https://www.drissionpage.cn/

每次运行代码后都会启动一个全新的浏览器,防止浏览器缓存被检测

python 复制代码
from DrissionPage import ChromiumPage, ChromiumOptions

co = ChromiumOptions()
co.auto_port()
page = ChromiumPage(co)

通过监听数据包的方式获取数据

python 复制代码
self.page.listen.start('https://detail.1688.com/all')

自定义滑块轨迹,这点还是比较重要的,模拟的越像人工轨迹越不会被检测。

python 复制代码
def slide(self):
    """
    滑动代码
    :return:
    """
    ele = self.page.wait.eles_loaded("x://span[contains(@id,'nc_1_n1z')]", timeout=20)
    if ele:
        ele = self.page.ele("#nc_1_n1t")
        time.sleep(3)
        ele.hover()
        self.page.actions.hold('#nc_1_n1z')
        self.page.actions.move(100, duration=random.random())
        self.page.actions.move(100, duration=random.random())
        self.page.actions.move(59, duration=3)

报错捕获,目前发现当抓取的数据超过一定量后,必然会触发封控机制,这时候就需要换IP处理。

python 复制代码
 if self.page.wait.eles_loaded("#recyclerview"):
     print('过滑动成功')
 elif self.page.wait.eles_loaded("#nc_1_refresh1"):
     print('滑动失败')
     # 需要继续处理.......
 elif self.page.wait.eles_loaded("#login-form"):
     print('需要登陆/换IP')
     # 需要继续处理.......

完整代码如下:

python 复制代码
from DrissionPage import ChromiumPage, ChromiumOptions
import json
import time
import re
import random
import datetime


class Detail(object):

    def __init__(self):
        co = ChromiumOptions()
        co.auto_port()
        self.page = ChromiumPage(co)
        self.page.listen.start('https://detail.1688.com/offer/643272204627.html')

    def slide(self):
        """
        滑动代码
        :return:
        """
        ele = self.page.wait.eles_loaded("x://span[contains(@id,'nc_1_n1z')]", timeout=20)
        if ele:
            ele = self.page.ele("#nc_1_n1t")
            time.sleep(3)
            ele.hover()
            self.page.actions.hold('#nc_1_n1z')
            self.page.actions.move(100, duration=random.random())
            self.page.actions.move(100, duration=random.random())
            self.page.actions.move(59, duration=3)

    def request_body(self):
        url = 'https://detail.1688.com/offer/643272204627.html'
        self.page.get(url)
        res = self.page.listen.wait()
        pattern = r'window\.__INIT_DATA\s*=\s*(\{.*?\})\s*</script>'
        match = re.search(pattern, res.response.body)
        try:
            json_data = match.group(1)
            dict_data = json.loads(json_data)
            temp_model = dict_data.get('globalData').get('tempModel')
            print(datetime.datetime.now())
            print(temp_model)
        except Exception as e:
            print(e)
            self.slide()
            if self.page.wait.eles_loaded("#recyclerview"):
                print('过滑动成功')
            elif self.page.wait.eles_loaded("#nc_1_refresh1"):
                print('滑动失败')
                # 需要继续处理.......
            elif self.page.wait.eles_loaded("#login-form"):
                print('需要登陆/换IP')
                # 需要继续处理.......

    def run(self):
        for i in range(1, 100000):
            self.request_body()


if __name__ == '__main__':
    detail = Detail()
    detail.run()

最后总结一下,代码是半成品,想要实现完美的抓取阿里1688数据

  • 第一需要完成IP代理模块;
  • 第二完善报错机制;
  • 第三优化滑块轨迹逻辑。
相关推荐
郭庆汝2 小时前
pytorch、torchvision与python版本对应关系
人工智能·pytorch·python
思则变5 小时前
[Pytest] [Part 2]增加 log功能
开发语言·python·pytest
漫谈网络6 小时前
WebSocket 在前后端的完整使用流程
javascript·python·websocket
try2find7 小时前
安装llama-cpp-python踩坑记
开发语言·python·llama
博观而约取8 小时前
Django ORM 1. 创建模型(Model)
数据库·python·django
精灵vector10 小时前
构建专家级SQL Agent交互
python·aigc·ai编程
Zonda要好好学习10 小时前
Python入门Day2
开发语言·python
Vertira10 小时前
pdf 合并 python实现(已解决)
前端·python·pdf
太凉10 小时前
Python之 sorted() 函数的基本语法
python
项目題供诗10 小时前
黑马python(二十四)
开发语言·python