某个网址的爬虫——mitmproxy的简单使用

前言

直言的说

笔者对数据不感兴趣,所以是什么网址不重要,里面的内容也不重要。

笔者只是想进行这个爬虫这个爬的过程。

网址如下

gnAtLt84GJxI1YuZnOWEI+WOiG1VR9ip0NZek1C8tpVnP246hSGiP14R66kcvnle

加密网址的函数

javascript 复制代码
const CryptoJS = require('crypto-js');
let key='1234567890123456'
let iv='abcdef9876543210'; 
function encryptUrl(url, key, iv) {
  return CryptoJS.AES.encrypt(url, CryptoJS.enc.Utf8.parse(key), {
    iv: CryptoJS.enc.Utf8.parse(iv),
    mode: CryptoJS.mode.CBC,
    padding: CryptoJS.pad.Pkcs7
  }).toString();
}

哈哈哈哈哈哈,哈哈哈哈哈(0.0)(0.0)(0.0)

正文

分析

进去之后,发现请求里面有这些参数

都没有进行加密,请求头里面也没有什么加密

但是发现响应是加密的

直接看堆栈的调用

可以发现是html 到Common.js 到jquery

直接点击Common.js,进去看看

发现了关键

这个success,就jquery发送请求,成功后的处理

里面可以看到有一个webInstace.shell(e)

打个断点,看看

刚开始是加密的

经过之后

可以发现e被解密出来了,那**webInstace.shell(e)**就是解密函数

进去看看

发现是经过混淆的代码,但是,笔者发现是在一个js文件里面

而且关键的一点

笔者发现了webInstace,那就简单了,直接把整个文件都复制下来

前置准备

  1. 新建一个文件夹
  2. 新建一个index.js文件
  3. 把webDES.min.js复制到index.js
  4. 新建一个index.html
  5. 导入index.js

其中index.html的内容如下

html 复制代码
<!DOCTYPE html>
<html lang="en">
<head>
    <meta charset="UTF-8">
    <title>Title</title>
    <script src="index.js"></script>
    <script>
        console.log(webInstace)
    </script>
</head>
<body>

</body>
</html>

笔者先打印看看情况,看有没有这个对象,结果如下

哈哈哈哈哈哈,可以

那问题已经解决了,没报错。

去掉打印语句

编写爬虫

先使用爬虫来试试,很简单,代码如下

python 复制代码
import requests
from DrissionPage import ChromiumPage
page= ChromiumPage()
url = '*****'
data = {
    'pageIndex': '4',
    'pageSize': '12',
    'SceneID': '2',
    'TagID': '',
    'MethodName': 'Data_ReportListNew'
}

resp = requests.post(url, data=data)
page.get('http://localhost:63342/..../index.html')
decrypted_data = page.run_js("return JSON.parse(webInstace.shell(arguments[0]))", resp.text)
print(decrypted_data)

笔者发现不需要请求头,结果如下

说实话,没什么意思,虽然解密的函数是混淆的,但是可以绕过去,不需要解密

使用mitmproxy试试

页面是通过jquery发送的请求,然后在jquery的success里面解密的,那么笔者也使用jquery

编写爬虫,不需要请求头,那更简单了

代理文件都不需要写,直接启动mitmproxy就可以

那么,index.html文件的内容如下

html 复制代码
<!DOCTYPE html>
<html lang="en">
<head>
    <meta charset="UTF-8">
    <title>Title</title>
    <script src="index.js"></script>
    <script src="https://cdn.bootcdn.net/ajax/libs/jquery/3.7.1/jquery.min.js"></script>
</head>
<body>
<script>
    const params = {
      pageIndex: '4',
      pageSize: '12',
      SceneID: '2',
      TagID: '',
      MethodName: 'Data_ReportListNew'
    };
    $.post('http://localhost:8082/API/GetData.ashx',params, function (data) {
        console.log(JSON.parse(webInstace.shell(data)));
    });

</script>
</body>
</html>

使用8082端口,这看个人的选择,无所谓

启动

mitmweb --mode reverse:xxxxx -p 8082

结果如下

没问题。

总结

mitmproxy是真好玩。

相关推荐
wuyk5551 天前
Spider-第10讲-SQLite持久化与去重
数据库·爬虫·sqlite
wuyk5551 天前
Spider-第09讲-三格式落盘CSV-Excel-JSON
爬虫·python·json·excel
wuyk5552 天前
Spider-第07讲-JSON接口与正则提取
爬虫·python·json
feasibility.2 天前
一物降一物?AI逆向没有终局:REA拆App,BLA设套,LASIK清场
人工智能·爬虫·github·逆向·skill·rea
wuyk5554 天前
Spider-第03讲-HTTP速通与读懂响应
网络·爬虫·网络协议·http
xyzzklk10 天前
在Open-WebUI中提升向量化速度
网络·人工智能·爬虫·ai·语言模型·自然语言处理·安卓
严肃小白兔10 天前
Cloudflare 开始区分 AI 爬虫与个人 Agent:网站访问控制应该怎样设计?
人工智能·爬虫
傻啦嘿哟13 天前
高德地图POI爬虫:爬取商户与景点数据,做LBS应用
爬虫
weixin1997010801613 天前
官方授权通道和灰色爬虫,做数据服务该选哪条路(附 python 源码)
c++·爬虫·python
正飞信息技术14 天前
llms.txt部署指南:给AI爬虫一张清晰的网站地图
人工智能·爬虫