【Python网络爬虫笔记】5-(Request 带参数的get请求) 爬取豆瓣电影排行信息

目录

1.抓包工具查看网站信息

请求路径

c 复制代码
url:https://movie.douban.com/typerank


请求参数

页面往下拉,出现新的请求结果,参数start更新,每次刷新出20条新的电影数据

2.代码实现

python 复制代码
# 使用网络爬虫,爬取https://movie.douban.com/typerank 的电影数据

# 导入requests包
import requests

#请求路径
url = "https://movie.douban.com/j/chart/top_list"

# 请求头
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36 Edg/131.0.0.0"
}

# 参数
params = {
    "type": "11",
    "interval_id": "100:90",
    "action": "",
    "start": 60,
    "limit": 20
}

# 发送请求,获取响应
response = requests.get(url, params=params,headers=headers)

# 输出
print(response.json())

# 关闭响应
response.close()

3.运行结果

start为60 的运行结果


start为0 的运行结果

相关推荐
Rabitebla17 分钟前
【Linux】文件篇(六):Shell 实战——从系统调用到命令行重定向
linux·服务器·c++·笔记·学习
学无止境小袁同学21 分钟前
LlamaIndex Workflows 学习
python·llm·tensorflow·llamaindex·agent开发·多agent·workflows
鲸渔1 小时前
【AI Agent系列课程13-Python 基础13】JSON 读写:结构化数据交换基础
开发语言·python·json·ai编程
Star(up up up)1 小时前
MySQL 事务隔离级别是如何实现的?从 MVCC 到锁机制原理详解
笔记·vscode·sql·学习·程序人生·mysql·学习方法
wuyk55511 小时前
Python办公自动化-第01讲-环境搭建与自动化认知
python·自动化·pyqt
高洁0112 小时前
数字孪生与计算机视觉:让机器看懂现场
人工智能·python·机器学习·transformer·迁移学习
ComPDFKit12 小时前
RAG 回答只显示 PDF 文件名?用 Python 保留引用页码
开发语言·python·pdf·rag
yz_aiks13 小时前
Termux 使用教程:把安卓手机变成随身 Linux(装 Python、SSH 远程、跑自动化脚本)
android·linux·python·智能手机·ssh·termux
琳少_14 小时前
java程序开发笔记
java·开发语言·数据库·笔记
2601_9679801115 小时前
Flask Web 应用
python·flask·web开发·环境变量·虚拟环境