最近我又在找工作了,悲哀啊~,面试官给了一道题,要求如下:
爬虫机试:https://detail.1688.com/offer/643272204627.html 过该链接的滑动验证码,拿到正确的商品信息页html,提取出商品维度的信息,输出json
由于时间紧迫,想着去破解加密参数x5sec
估计时间也不够,最后采用自动化工具先应付一下面试,毕竟能不能入职还是未知数。
言归正传,先看效果图如下:
众所周知阿里的滑块检测是比较多的,常规的自动化工具无法过滑块。所有这次尝试用DrissionPage去破解。
DrissionPage文档地址如下:
每次运行代码后都会启动一个全新的浏览器,防止浏览器缓存被检测
python
from DrissionPage import ChromiumPage, ChromiumOptions
co = ChromiumOptions()
co.auto_port()
page = ChromiumPage(co)
通过监听数据包的方式获取数据
python
self.page.listen.start('https://detail.1688.com/all')
自定义滑块轨迹,这点还是比较重要的,模拟的越像人工轨迹越不会被检测。
python
def slide(self):
"""
滑动代码
:return:
"""
ele = self.page.wait.eles_loaded("x://span[contains(@id,'nc_1_n1z')]", timeout=20)
if ele:
ele = self.page.ele("#nc_1_n1t")
time.sleep(3)
ele.hover()
self.page.actions.hold('#nc_1_n1z')
self.page.actions.move(100, duration=random.random())
self.page.actions.move(100, duration=random.random())
self.page.actions.move(59, duration=3)
报错捕获,目前发现当抓取的数据超过一定量后,必然会触发封控机制,这时候就需要换IP处理。
python
if self.page.wait.eles_loaded("#recyclerview"):
print('过滑动成功')
elif self.page.wait.eles_loaded("#nc_1_refresh1"):
print('滑动失败')
# 需要继续处理.......
elif self.page.wait.eles_loaded("#login-form"):
print('需要登陆/换IP')
# 需要继续处理.......
完整代码如下:
python
from DrissionPage import ChromiumPage, ChromiumOptions
import json
import time
import re
import random
import datetime
class Detail(object):
def __init__(self):
co = ChromiumOptions()
co.auto_port()
self.page = ChromiumPage(co)
self.page.listen.start('https://detail.1688.com/offer/643272204627.html')
def slide(self):
"""
滑动代码
:return:
"""
ele = self.page.wait.eles_loaded("x://span[contains(@id,'nc_1_n1z')]", timeout=20)
if ele:
ele = self.page.ele("#nc_1_n1t")
time.sleep(3)
ele.hover()
self.page.actions.hold('#nc_1_n1z')
self.page.actions.move(100, duration=random.random())
self.page.actions.move(100, duration=random.random())
self.page.actions.move(59, duration=3)
def request_body(self):
url = 'https://detail.1688.com/offer/643272204627.html'
self.page.get(url)
res = self.page.listen.wait()
pattern = r'window\.__INIT_DATA\s*=\s*(\{.*?\})\s*</script>'
match = re.search(pattern, res.response.body)
try:
json_data = match.group(1)
dict_data = json.loads(json_data)
temp_model = dict_data.get('globalData').get('tempModel')
print(datetime.datetime.now())
print(temp_model)
except Exception as e:
print(e)
self.slide()
if self.page.wait.eles_loaded("#recyclerview"):
print('过滑动成功')
elif self.page.wait.eles_loaded("#nc_1_refresh1"):
print('滑动失败')
# 需要继续处理.......
elif self.page.wait.eles_loaded("#login-form"):
print('需要登陆/换IP')
# 需要继续处理.......
def run(self):
for i in range(1, 100000):
self.request_body()
if __name__ == '__main__':
detail = Detail()
detail.run()
最后总结一下,代码是半成品,想要实现完美的抓取阿里1688数据
- 第一需要完成IP代理模块;
- 第二完善报错机制;
- 第三优化滑块轨迹逻辑。