这一期是关于软科中国大学排名的爬虫分析
目标网址:https://www.shanghairanking.cn/rankings/bcur/2024
每页30所学校信息,共20页
点击翻页,你发现网址没有发生变化,说明该页面信息应该是利用js实现动态加载数据的方式展示的,所以我们无法通过 get 传参的方式来切换网页进行爬取。
接下来,按 F12 或者右键选择审查元素,搜索一下清华大学查看网页结构:
这里我们可以看到信息都在一个 payload.js 的文件里,继续查看可以发现这里有590所学校的所有信息,说明网页显示的内容是通过 javascript 解析这个文件动态加载进去的。
那我们只需要解析这个文件就好了,找到各个变量对应的值。
最终爬取到的数据:
完整代码评论区获取