【Python网络爬虫笔记】5-(Request 带参数的get请求) 爬取豆瓣电影排行信息

目录

1.抓包工具查看网站信息

请求路径

c 复制代码
url:https://movie.douban.com/typerank


请求参数

页面往下拉,出现新的请求结果,参数start更新,每次刷新出20条新的电影数据

2.代码实现

python 复制代码
# 使用网络爬虫,爬取https://movie.douban.com/typerank 的电影数据

# 导入requests包
import requests

#请求路径
url = "https://movie.douban.com/j/chart/top_list"

# 请求头
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36 Edg/131.0.0.0"
}

# 参数
params = {
    "type": "11",
    "interval_id": "100:90",
    "action": "",
    "start": 60,
    "limit": 20
}

# 发送请求,获取响应
response = requests.get(url, params=params,headers=headers)

# 输出
print(response.json())

# 关闭响应
response.close()

3.运行结果

start为60 的运行结果


start为0 的运行结果

相关推荐
大嘴带你水论文3 分钟前
震惊!仅用10张照片就能随意编辑3D人脸?韩国KAIST最新黑科技FFaceNeRF解析!
论文阅读·人工智能·python·科技·计算机视觉·3d·transformer
CodeCraft Studio9 分钟前
国产化PDF处理控件Spire.PDF教程:如何在 Java 中通过模板生成 PDF
java·python·pdf·spire.pdf·java创建pdf·从html创建pdf
摆烂z1 小时前
Jupyter Notebook的交互式开发环境方便py开发
ide·python·jupyter
致***锌1 小时前
期权平仓后权利金去哪了?
笔记
LiuYaoheng2 小时前
【Android】View 的基础知识
android·java·笔记·学习
星梦清河2 小时前
宋红康 JVM 笔记 Day14|垃圾回收概述
jvm·笔记
一乐小哥2 小时前
一口气同步10年豆瓣记录———豆瓣书影音同步 Notion分享 🚀
后端·python
Suckerbin2 小时前
Basic Pentesting: 1靶场渗透
笔记·安全·web安全·网络安全
华研前沿标杆游学2 小时前
华为在国内搞的研发基地有多野?标杆游学带你解锁“研发界顶流”
python
小胖墩有点瘦2 小时前
【基于深度学习的中草药识别系统】
人工智能·python·深度学习·课程设计·计算机毕业设计·中草药识别