python爬虫-获取headers(报文头)关键参数实例小记

注意!!!!某XX网站逆向实例仅作为学习案例,禁止其他个人以及团体做谋利用途!!!

第一步:请求页面,得到响应。建议首次请求时headers内容都带着,调试的时候根据情况将headers中的参数进行注释,来确定是否为headers的参数或者formdata 参数影响 响应结果。

响应结果:

5分钟后相同参数再次请求

通过排查headers中的 X-Apikey参数为关键参数。

第二步:全网站搜索X-Apikey 参数。但是该参数在js 文件里只有一个,且是个常量,这时候可以看到有个r.Z.getApiKey() ,通过对getApiKey 查找可以看到一些关键信息

getApiKey 相关信息 ,通过查看确定是生产X-ApiKey的关键信息

第三步:打断点(debug),注意由于是找headers的参数,因此断点打完后要去掉cookie重新请求。并且将断点打在X-ApiKey 的附近会出现断点不起作用,这时候可以考虑在在getApiKey 的附近或者该js 文件中搜索headers:注意!!!需要耐心等待。加载时间有点长。

第四步:执行encryptApiKey() 函数

第五步:执行**encryptTime()**函数

第六步:执行**comb()**函数

注意这块比较坑,comb函数传参时 是e,t。 但是在接收参数显示是t, e。 不要被迷惑了。就按照函数comb(e,t) 这种方式

这里可以看到 最后返回一个window.btoa() ,这里的**btoa()**是base64

最后代码展示:

python 复制代码
# -*- coding:utf-8 -*-
# @Time : 2023/7/13 18:00
# @Author: 水兵没月
import base64
import random
import time

import requests
# LWIzMWUtNDU0Ny05Mjk5LWI2ZDA3Yjc2MzFhYmEyYzkwM2NjfDI3OTk4MzYwOTkxOTU2Mzg=
#  -b31e-4547-9299-b6d07b7631aba2c903cc|2799836099195638
#  -b31e-4547-9299-b6d07b7631ab a2c903cc
API_KRY = 'a2c903cc-b31e-4547-9299-b6d07b7631ab'
# encryptApiKey===e
API_KRY_0 = API_KRY[8:]+API_KRY[:8]

# encryptTime===t
t = int(time.time()*1000)
t_0 = str(1*t+1111111111111)

n = random.randint(0, 9)
r = random.randint(0, 9)
o = random.randint(0, 9)

e = t_0+str(n)+str(r)+str(o)

# comb
comb_n = API_KRY_0+"|"+e
x_api = base64.b64encode(comb_n.encode('utf-8')).decode('utf-8')
print(x_api)



headers = {
    'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36',
    'X-Apikey':x_api,
}

s = requests.session()
url = 'https://XXXXXXXXXXXXX'    # 请求链接
res = s.get(url=url, headers=headers)
res.encoding='utf-8'
print(res.text)

仅作为笔记记录,如有问题请各位大佬来指导

相关推荐
深蓝电商API14 小时前
处理字体反爬:woff字体文件解析实战
爬虫·python
NPE~15 小时前
自动化工具Drissonpage 保姆级教程(含xpath语法)
运维·后端·爬虫·自动化·网络爬虫·xpath·浏览器自动化
喵手21 小时前
Python爬虫实战:电商价格监控系统 - 从定时任务到历史趋势分析的完整实战(附CSV导出 + SQLite持久化存储)!
爬虫·python·爬虫实战·零基础python爬虫教学·电商价格监控系统·从定时任务到历史趋势分析·采集结果sqlite存储
摘星|21 小时前
正则匹配与爬虫爬取图片路径综合练习
爬虫
喵手21 小时前
Python爬虫实战:京东/淘宝搜索多页爬虫实战 - 从反爬对抗到数据入库的完整工程化方案(附CSV导出 + SQLite持久化存储)!
爬虫·python·爬虫实战·零基础python爬虫教学·京东淘宝页面数据采集·反爬对抗到数据入库·采集结果csv导出
0思必得01 天前
[Web自动化] Selenium获取元素的子元素
前端·爬虫·selenium·自动化·web自动化
搂着猫睡的小鱼鱼1 天前
Ozon 商品页数据解析与提取 API
爬虫·php
深蓝电商API2 天前
住宅代理与数据中心代理在爬虫中的选择
爬虫·python
csdn_aspnet2 天前
Libvio.link爬虫技术深度解析:反爬机制破解与高效数据抓取
爬虫·反爬·libvio
0思必得02 天前
[Web自动化] Selenium处理滚动条
前端·爬虫·python·selenium·自动化