爬豆瓣喜剧电影排行榜数据

目录

一.先讲一下普通请求、XHR请求

1.普通请求

2.XHR请求

二.找响应豆瓣喜剧电影排行数据的接口

三.编写代码,爬取数据

四.强调两点

1.GET请求的两种携带参数的方式

2.爬到的数据能干什么?


一.先讲一下普通请求、XHR请求

1.普通请求

右击网页->检查->网络->全部

2.XHR请求

XHR就是**用来抓取网页中动态加载内容(如评论、更新)**的请求。也就是用来抓取网页后续的动态数据。
举例:我们页面一打开,会展示出一些静态资源。当我们点击"喜剧片"时,网页就会发送XHR请求,获取后端响应的喜剧片数据,然后将这些动态数据再渲染到页面上。此时这种请求,就叫XHR请求。

二.找响应豆瓣喜剧电影排行数据的接口

根据我们上面讲的,此时这个接口是后续提供喜剧电影排行的接口,属于后续渲染动态数据的接口,因此就可以去XHR请求里面找,应该十分好找。

查看该接口的相关信息:

可见此时能看到请求的url、请求方式为GET、携带的参数。

还有User-Agent,即发送者,可解决该网站的反爬机制。
综上,我们就找到了该接口的url、请求方式、入参。

这是爬虫最基础的三大件。

三.编写代码,爬取数据

python 复制代码
import requests

#url
url = "https://movie.douban.com/j/chart/top_list"
#入参
myParam = {
    "type":"24",
    "interval_id":"100:90",
    "action":"",
    "start":"0",
    "limit":"20",
}
#设置请求头中的发送者(解决反爬问题)
myHeader = {
    "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/142.0.0.0 Safari/537.36 Edg/142.0.0.0"
}
#发送请求,获取响应数据
resp = requests.get(url=url, headers=myHeader, params=myParam)

#输出响应数据
print(resp.json())

查看运行效果

四.强调两点

1.GET请求的两种携带参数的方式

  • 放在地址栏(url)的问号后面
  • 放入params里面

其实以上两种,最后都会被整合成地址栏的问号后面,只不过把入参放在params里面,看着更加清爽。
因此可见,我们写的代码中,只将url写到问号前,因为我们的入参都放在了params里面

2.爬到的数据能干什么?

我们已经将喜剧片排行榜的数据爬出来了,可以存到一个文档里。这样我们就有了这些数据,以后可以作为数据建模的数据源,供我们使用。
但是要注意一点,我们一定要爬那些公开的、非秘密的数据,而不要侵权、违反规则。爬虫只是帮助我们搜集数据的工具,而不应该成为伤害他人权益的利刃。

以上就是本篇文章的全部内容,喜欢的话可以留个免费的关注呦~~~

相关推荐
wuyk55514 小时前
Spider-第16讲-线程池与竞态问题
大数据·爬虫·python·elasticsearch·搜索引擎
wuyk5552 天前
Spider-第14讲-表单提交与CSRF
前端·爬虫·python·elasticsearch·csrf
wuyk5554 天前
Spider-第11讲-工程化改造与可维护性
大数据·爬虫·elasticsearch·搜索引擎
wuyk5554 天前
Spider-第12讲-asyncio异步并发爬取
大数据·爬虫·elasticsearch·搜索引擎
小宋10214 天前
AI 爬虫把大学图书馆站点拖垮:按行为指纹给爬虫分类、按类发配额、用边缘缓存分层,以带宽成本结构和真实用户 P95 延迟定档
人工智能·爬虫·分类
wuyk5555 天前
Spider-第10讲-SQLite持久化与去重
数据库·爬虫·sqlite
wuyk5555 天前
Spider-第09讲-三格式落盘CSV-Excel-JSON
爬虫·python·json·excel
wuyk5556 天前
Spider-第07讲-JSON接口与正则提取
爬虫·python·json
feasibility.6 天前
一物降一物?AI逆向没有终局:REA拆App,BLA设套,LASIK清场
人工智能·爬虫·github·逆向·skill·rea
wuyk5558 天前
Spider-第03讲-HTTP速通与读懂响应
网络·爬虫·网络协议·http