【Python网络爬虫笔记】5-(Request 带参数的get请求) 爬取豆瓣电影排行信息

目录

1.抓包工具查看网站信息

请求路径

c 复制代码
url:https://movie.douban.com/typerank


请求参数

页面往下拉,出现新的请求结果,参数start更新,每次刷新出20条新的电影数据

2.代码实现

python 复制代码
# 使用网络爬虫,爬取https://movie.douban.com/typerank 的电影数据

# 导入requests包
import requests

#请求路径
url = "https://movie.douban.com/j/chart/top_list"

# 请求头
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36 Edg/131.0.0.0"
}

# 参数
params = {
    "type": "11",
    "interval_id": "100:90",
    "action": "",
    "start": 60,
    "limit": 20
}

# 发送请求,获取响应
response = requests.get(url, params=params,headers=headers)

# 输出
print(response.json())

# 关闭响应
response.close()

3.运行结果

start为60 的运行结果


start为0 的运行结果

相关推荐
java1234_小锋4 小时前
TensorFlow2 Python深度学习 - TensorFlow2框架入门 - 神经网络基础原理
python·深度学习·tensorflow·tensorflow2
JJJJ_iii4 小时前
【深度学习03】神经网络基本骨架、卷积、池化、非线性激活、线性层、搭建网络
网络·人工智能·pytorch·笔记·python·深度学习·神经网络
玉石观沧海4 小时前
高压变频器故障代码解析F67 F68
运维·经验分享·笔记·分布式·深度学习
JJJJ_iii4 小时前
【深度学习05】PyTorch:完整的模型训练套路
人工智能·pytorch·python·深度学习
程序员小远5 小时前
常用的测试用例
自动化测试·软件测试·python·功能测试·测试工具·职场和发展·测试用例
IT学长编程5 小时前
计算机毕业设计 基于EChants的海洋气象数据可视化平台设计与实现 Python 大数据毕业设计 Hadoop毕业设计选题【附源码+文档报告+安装调试】
大数据·hadoop·python·毕业设计·课程设计·毕业论文·海洋气象数据可视化平台
初级炼丹师(爱说实话版)5 小时前
MySql速成笔记5(多表关系)
笔记
辣椒http_出海辣椒5 小时前
Python 数据抓取实战:从基础到反爬策略的完整指南
python
荼蘼5 小时前
使用 Flask 实现本机 PyTorch 模型部署:从服务端搭建到客户端调用
人工智能·pytorch·python
(时光煮雨)6 小时前
【Python进阶】Python爬虫-Selenium
爬虫·python·selenium