记录一次反爬操作 - ( 简单 )

实现思路

1.参数加密

已知我的参数是 page 和 pageSize,此时我想要对着两个参数进行加密,那么我的选型还是比较多的,这里使用常见的md5进行加密处理。

思路

避免加密参数不变,我们引入一个时间戳来混淆爬虫,这样我们就得到了加密的参数了。

代码参考:

java 复制代码
import request from '../utils/request';
import CryptoJS from 'crypto-js';
export const searchUserByTags = (tags: any, page: any, pageSize: any) => {
    const timestamp = Date.now().toString();
    const sign = CryptoJS.MD5(page + pageSize + timestamp + "xiaocaidan").toString();
    return request.post("/user/search", {
        tags: tags,
        page: page,
        pageSize: pageSize,
        time: timestamp,
        sign: sign
    });
}

优化,我们可以将tags进行转换,使用hash操作,得到一个新的加密参数,然后进行拼接,得到一个最终效果的参数
如: sign + '|' + time + '|' + hash(tags)

2.代码混淆

得到上方的的加密代码之后我们可以做一个js混淆,让爬虫解析前端代码困难起来。
js混淆工具

混淆前的代码
js 复制代码
    const timestamp = Date.now().toString();
    const sign = CryptoJS.MD5(page + pageSize + timestamp + "xiaocaidan").toString();
    return request.post("/user/search", {
        tags: tags,
        page: page,
        pageSize: pageSize,
        time: timestamp,
        sign: sign
    });
混淆后的代码
js 复制代码
function _0x5670(_0x4239f6, _0x1c06ce) {
        const _0x2507cf = _0x2507(); return _0x5670 = function (_0x567057, _0x3c9f41) { _0x567057 = _0x567057 - 0x1a1; let _0x39c382 = _0x2507cf[_0x567057]; return _0x39c382; }, _0x5670(_0x4239f6, _0x1c06ce);
    }
    const _0x99028a = _0x5670;
    (function (_0x123360, _0xd0bda3) {
        const _0x89478b = _0x5670, _0x5256f6 = _0x123360();
        while (!![]) {
            try {
                const _0x199e10 = parseInt(_0x89478b(0x1a2)) / 0x1 * (-parseInt(_0x89478b(0x1a4)) / 0x2) + parseInt(_0x89478b(0x1a5)) / 0x3 + -parseInt(_0x89478b(0x1ab)) / 0x4 * (parseInt(_0x89478b(0x1af)) / 0x5) + parseInt(_0x89478b(0x1a3)) / 0x6 * (-parseInt(_0x89478b(0x1a9)) / 0x7) + parseInt(_0x89478b(0x1a6)) / 0x8 + parseInt(_0x89478b(0x1a8)) / 0x9 * (parseInt(_0x89478b(0x1a1)) / 0xa) + -parseInt(_0x89478b(0x1ae)) / 0xb; if (_0x199e10 === _0xd0bda3) break; else _0x5256f6['push'](_0x5256f6['shift']());
            } catch (_0x4c629a) { _0x5256f6['push'](_0x5256f6['shift']()); }
        }
    }(_0x2507, 0x9dcd3)); const timestamp = Date['now']()[_0x99028a(0x1ad)](), sign = CryptoJS[_0x99028a(0x1ac)](page + pageSize + timestamp + _0x99028a(0x1a7))[_0x99028a(0x1ad)](); function _0x2507() { const _0x35df2c = ['MD5', 'toString', '1339305ECXPIG', '3365ERShus', '1270gpPtfm', '110645cBxblt', '6RZquIb', '4MjMiyF', '87582bFxmbr', '8275472fserRH', 'xiaocaidan', '70794rMDivZ', '7083769lzcyvp', '/user/search', '364WoWysM']; _0x2507 = function () { return _0x35df2c; }; return _0x2507(); } return request['post'](_0x99028a(0x1aa), { 'tags': tags, 'page': page, 'pageSize': pageSize, 'time': timestamp, 'sign': sign });
接口限流

使用Redisson中的RRateLimiter工具进行操作

工具类:
java 复制代码
package com.caidan.HuoBanSystem.utils;

import com.caidan.HuoBanSystem.exception.BaseException;
import jakarta.annotation.Resource;
import org.redisson.api.RRateLimiter;
import org.redisson.api.RateIntervalUnit;
import org.redisson.api.RateType;
import org.redisson.api.RedissonClient;
import org.springframework.stereotype.Component;


/**
 * @项目名 BIProject
 * @描述 使用redis进行限流操作
 * @作者 wzy
 * @时间 2024/5/28 18:46
 */
//  注册一下bean
//  写成一个工具类 便于后续使用
@Component
public class RedisLimitManager {
    @Resource
    private RedissonClient redissonClient;
    //    定义限流内容
    public void doRateLimit(String key,String message) {
//      设置限流器
        RRateLimiter rateLimiter = redissonClient.getRateLimiter(key);
        // 设置限流器的速率:每秒产生 2 个令牌,允许突发 1 个令牌
        rateLimiter.trySetRate(RateType.OVERALL, 2, 1, RateIntervalUnit.SECONDS);
//      当一个操作来的时候,请求一个令牌
        boolean canOp = rateLimiter.tryAcquire(1);
        if(!canOp){
            throw new BaseException(message);
        }
    }
}

以上就是我针对这个接口的加密方式,也是心血来潮,想要实现一个,毕竟写了这么多爬虫文章了,也应该介绍下反爬了。

如果大家有比较好的策略,可以评论区留言交流一下。

相关推荐
minihuabei1 小时前
linux centos 安装redis
linux·redis·centos
monkey_meng3 小时前
【Rust中多线程同步机制】
开发语言·redis·后端·rust
hlsd#4 小时前
go 集成go-redis 缓存操作
redis·缓存·golang
奶糖趣多多6 小时前
Redis知识点
数据库·redis·缓存
CoderIsArt7 小时前
Redis的三种模式:主从模式,哨兵与集群模式
数据库·redis·缓存
ketil2711 小时前
Redis - String 字符串
数据库·redis·缓存
王佑辉13 小时前
【redis】延迟双删策略
redis
生命几十年3万天13 小时前
redis时间优化
数据库·redis·缓存
Shenqi Lotus14 小时前
Redis-“自动分片、一定程度的高可用性”(sharding水平拆分、failover故障转移)特性(Sentinel、Cluster)
redis·sentinel·cluster·failover·sharding·自动分片·水平拆分
YMY哈18 小时前
Redis常见面试题(二)
redis