【Python网络爬虫笔记】5-(Request 带参数的get请求) 爬取豆瓣电影排行信息

目录

1.抓包工具查看网站信息

请求路径

c 复制代码
url:https://movie.douban.com/typerank


请求参数

页面往下拉,出现新的请求结果,参数start更新,每次刷新出20条新的电影数据

2.代码实现

python 复制代码
# 使用网络爬虫,爬取https://movie.douban.com/typerank 的电影数据

# 导入requests包
import requests

#请求路径
url = "https://movie.douban.com/j/chart/top_list"

# 请求头
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36 Edg/131.0.0.0"
}

# 参数
params = {
    "type": "11",
    "interval_id": "100:90",
    "action": "",
    "start": 60,
    "limit": 20
}

# 发送请求,获取响应
response = requests.get(url, params=params,headers=headers)

# 输出
print(response.json())

# 关闭响应
response.close()

3.运行结果

start为60 的运行结果


start为0 的运行结果

相关推荐
Andy杨23 分钟前
20250707-4-Kubernetes 集群部署、配置和验证-K8s基本资源概念初_笔记
笔记·容器·kubernetes
Python大数据分析@25 分钟前
Origin、MATLAB、Python 用于科研作图,哪个最好?
开发语言·python·matlab
编程零零七1 小时前
Python巩固训练——第一天练习题
开发语言·python·python基础·python学习·python练习题
Zonda要好好学习1 小时前
Python入门Day4
java·网络·python
小龙在山东2 小时前
Python 包管理工具 uv
windows·python·uv
weixin_307779132 小时前
批量OCR的GitHub项目
python·github·ocr
UQI-LIUWJ3 小时前
李宏毅LLM笔记: AI Agent
人工智能·笔记
ouliten3 小时前
cuda编程笔记(6)--流
笔记
Love__Tay3 小时前
笔记/云计算基础
笔记·学习·云计算
孤狼warrior3 小时前
灰色预测模型
人工智能·python·算法·数学建模