爬虫实践(1)

这一篇只提登录模拟,主要介绍chrome开发者窗口的使用,实际上相关接口调用都是用到cookie,需要再加一篇从token到cookie,以保证实践的完整性

以migu登录为例,分析其登录过程,之后可以使用任意语言模拟登录,获取登录token

查看分析登录涉及到的URL

URL:https://passport.migu.cn/login

step1: POST https://passport.migu.cn/password/publickey

step2: POST https://passport.migu.cn/authn

step2 返回结果就是登录后的token

分析请求报文

step1:POST https://passport.migu.cn/password/publickey

无参数,尝试直接请求,可以获取到请求

step2:POST https://passport.migu.cn/authn

发现请求参数很多,大部分是加密的

试着使用POSTMAN做请求,暂时发现使用以下三个参数就可以通了

分析参数计算逻辑

这是主要部分,大致流程:找到对应form --> 打断点 --> 分析代码

sourceID,Element搜索,尝试点两下登录,发现这个值应该是进页面初始化的

可以直接通过请求URL 获取

loginID
  1. Element搜索,可以点两下登录试试,可以看到这个值会变化,说明是动态计算的
  2. 打断点
  3. 点击登录按钮,触发click事件,会停在赋值的代码块,可见此时 loginID已经算出来了,并在第二个标记的地方赋值

    shift + F11 往上推查找这个e在什么地方算的
    分析下面代码,发现是通过请求a.attr("cmcc-rsaAjax"),获取到modulus, publicExponent,再通过RSA做加密,算出 loginID
    这个URL其实就是https://passport.migu.cn/password/publickey这个API的结果

    有个技巧, 在打断点期间,实际上整个工作区间都到断掉位置了,可以在console 窗口直接在执行代码,比如:

    RSA加密算法是自定义的,需要爬取js代码,之后再做补全 ...
    主要是下面三行代码
javascript 复制代码
c = new s.RSAKey;
c.setPublic(a.result.modulus, a.result.publicExponent);
var d = c.encrypt(b.val());
enpassword,步骤相似,实际上就是下面中间的代码
相关推荐
一晌小贪欢5 小时前
Python爬虫第7课:多线程与异步爬虫技术
开发语言·爬虫·python·网络爬虫·python爬虫·python3
一百天成为python专家20 小时前
python爬虫入门(小白五分钟从入门到精通)
开发语言·爬虫·python·opencv·yolo·计算机视觉·正则表达式
wanfeng_0920 小时前
python爬虫学习
爬虫·python·学习
濑户川21 小时前
基于DDGS实现图片搜索,文本搜索,新闻搜索
人工智能·爬虫·python
Moniane1 天前
Web爬虫指南
爬虫·算法
深蓝电商API1 天前
快速上手 Scrapy:5 分钟创建一个可扩展的爬虫项目
爬虫·python·scrapy
直有两条腿1 天前
【爬虫】浏览器插件
爬虫
小白学大数据1 天前
Python爬虫数据可视化:深度分析贝壳成交价格趋势与分布
爬虫·python·信息可视化
johnny2332 天前
爬虫汇总与实战
爬虫
一晌小贪欢2 天前
Python爬虫第5课:正则表达式与数据清洗技术
爬虫·python·正则表达式·网络爬虫·python爬虫·python3·网页爬虫