010-sha1+base64:爬虫练习网站

网站地址:爬虫练习网站

找加密参数及位置

找到接口:

加密参数:

直接搜索关键字:

打上断点,其他都不像,然后翻页触发断点:

进函数内部看看:

这里有一个sha1加密和base64编码,我们看看sha1是否是标准加密:

sha1是加密的,然后base64也看看:

都是标准的,看一下参数即可:

外面参数是offset:

下面开始扣代码

扣代码复现逻辑

先扣i函数:

将n全部改为第三方库:

然后将外部调用的代码扣下来:

封装成函数:

整体代码如下:

python 复制代码
CryptoJS = require("crypto-js");

function i() {
    for (var t = Math.round((new Date).getTime() / 1e3).toString(), e = arguments.length, r = new Array(e), i = 0; i < e; i++)
        r[i] = arguments[i];
    r.push(t);
    var o = CryptoJS.SHA1(r.join(",")).toString(CryptoJS.enc.Hex)
        , c = CryptoJS.enc.Base64.stringify(CryptoJS.enc.Utf8.parse([o, t].join(",")));
    return c
}

function encrypt_data(page) {
    var a = (page - 1) * 10
        , e = Object(i)("/api/movie", a);
    return {
        token: e,
        offset: a
    }
}


// console.log(encrypt_data(19));

返回a是因为后端会根据offset校验token

py调用

plain 复制代码
import execjs
import os
import requests

class JSExecutor:
    def __init__(self, file_path):
        if not os.path.exists(file_path):
            print('NotFoundFile')
        with open(file_path, 'r', encoding='utf-8') as f:
            self.js_code = f.read()

        self.js_code = execjs.compile(self.js_code)

    def run(self, func_name, *args):
        return self.js_code.call(func_name, *args)


def get_data(token, offset):
    headers = {
        'Accept': 'application/json, text/plain, */*',
        'Accept-Language': 'zh-CN,zh;q=0.9,en;q=0.8,en-GB;q=0.7,en-US;q=0.6',
        'Cache-Control': 'no-cache',
        'Connection': 'keep-alive',
        'Pragma': 'no-cache',
        'Referer': 'https://spa2.scrape.center/page/2',
        'Sec-Fetch-Dest': 'empty',
        'Sec-Fetch-Mode': 'cors',
        'Sec-Fetch-Site': 'same-origin',
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/143.0.0.0 Safari/537.36 Edg/143.0.0.0',
        'sec-ch-ua': '"Microsoft Edge";v="143", "Chromium";v="143", "Not A(Brand";v="24"',
        'sec-ch-ua-mobile': '?0',
        'sec-ch-ua-platform': '"Windows"',
    }

    params = {
        'limit': '10',
        'offset': str(offset),
        'token': token,
    }

    return requests.get('https://spa2.scrape.center/api/movie/', params=params, headers=headers).json()

if __name__ == '__main__':
    js_executor = JSExecutor('10.js')
    for page in range(1, 11):
        params_js = js_executor.run('encrypt_data', page)
        print(f'正在爬取第{page}页...')
        print(get_data(params_js['token'], params_js['offset']))

result:

小结

文章内容简单,小白可以试试手,如有问题及时提出,加油加油

相关推荐
岁月宁静3 小时前
五、《从零手撸 Agent》 — 什么是 Agent:从“会聊天”到“会做事”,差的就是一个循环
python·agent
梯度下降者4 小时前
Python - 函数
python·高阶函数·可调用对象·functools·嵌套作用域
starzy19906 小时前
深入理解Scala隐式参数:上下文流转
开发语言·python·scala
wuyk5557 小时前
Spider-第16讲-线程池与竞态问题
大数据·爬虫·python·elasticsearch·搜索引擎
kyle~13 小时前
FastAPI --- 将业务能力以 API 的形式提供给外部系统
python·fastapi·前后端
aiotto资源分享13 小时前
Python 写 JSON 文件,程序中途退出会留下什么?
java·python·json·jsondecodeerror
梯度下降者14 小时前
Python信号量,条件变量,事件学习
python·条件变量·事件·信号量·线程通信
MSTcheng.14 小时前
【AI应用实战】用 FastAPI + SSE 做一个自己的 AI 聊天网页:流式输出、多轮对话与完整源码
人工智能·python·大模型·fastapi·sse·ai聊天助手
the局外人15 小时前
Python 实战检索优化:BM25、向量与重排
数据库·后端·python
__underline__15 小时前
冷门Python知识点006篇:Python 类体里的名字,能被"凭空造出来"
后端·python