这一期是关于软科中国大学排名的爬虫分析
目标网址：https://www.shanghairanking.cn/rankings/bcur/2024
每页30所学校信息，共20页
点击翻页，你发现网址没有发生变化，说明该页面信息应该是利用js实现动态加载数据的方式展示的，所以我们无法通过 get 传参的方式来切换网页进行爬取。
接下来，按 F12 或者右键选择审查元素，搜索一下清华大学查看网页结构：
这里我们可以看到信息都在一个 payload.js 的文件里，继续查看可以发现这里有590所学校的所有信息，说明网页显示的内容是通过 javascript 解析这个文件动态加载进去的。
那我们只需要解析这个文件就好了，找到各个变量对应的值。
最终爬取到的数据：
完整代码评论区获取