软科中国大学排名爬虫+数据可视化

这一期是关于软科中国大学排名的爬虫分析

目标网址:https://www.shanghairanking.cn/rankings/bcur/2024

每页30所学校信息,共20页

点击翻页,你发现网址没有发生变化,说明该页面信息应该是利用js实现动态加载数据的方式展示的,所以我们无法通过 get 传参的方式来切换网页进行爬取。

接下来,按 F12 或者右键选择审查元素,搜索一下清华大学查看网页结构:

这里我们可以看到信息都在一个 payload.js 的文件里,继续查看可以发现这里有590所学校的所有信息,说明网页显示的内容是通过 javascript 解析这个文件动态加载进去的。

那我们只需要解析这个文件就好了,找到各个变量对应的值。

最终爬取到的数据:

完整代码评论区获取

相关推荐
网易独家音乐人Mike Zhou3 小时前
【卡尔曼滤波】数据预测Prediction观测器的理论推导及应用 C语言、Python实现(Kalman Filter)
c语言·python·单片机·物联网·算法·嵌入式·iot
安静读书3 小时前
Python解析视频FPS(帧率)、分辨率信息
python·opencv·音视频
小二·5 小时前
java基础面试题笔记(基础篇)
java·笔记·python
小喵要摸鱼6 小时前
Python 神经网络项目常用语法
python
一念之坤7 小时前
零基础学Python之数据结构 -- 01篇
数据结构·python
wxl7812278 小时前
如何使用本地大模型做数据分析
python·数据挖掘·数据分析·代码解释器
NoneCoder8 小时前
Python入门(12)--数据处理
开发语言·python
LKID体9 小时前
Python操作neo4j库py2neo使用(一)
python·oracle·neo4j
小尤笔记9 小时前
利用Python编写简单登录系统
开发语言·python·数据分析·python基础
FreedomLeo19 小时前
Python数据分析NumPy和pandas(四十、Python 中的建模库statsmodels 和 scikit-learn)
python·机器学习·数据分析·scikit-learn·statsmodels·numpy和pandas