目录

【Python网络爬虫笔记】5-(Request 带参数的get请求) 爬取豆瓣电影排行信息

目录

1.抓包工具查看网站信息

请求路径

c 复制代码
url:https://movie.douban.com/typerank


请求参数

页面往下拉,出现新的请求结果,参数start更新,每次刷新出20条新的电影数据

2.代码实现

python 复制代码
# 使用网络爬虫,爬取https://movie.douban.com/typerank 的电影数据

# 导入requests包
import requests

#请求路径
url = "https://movie.douban.com/j/chart/top_list"

# 请求头
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36 Edg/131.0.0.0"
}

# 参数
params = {
    "type": "11",
    "interval_id": "100:90",
    "action": "",
    "start": 60,
    "limit": 20
}

# 发送请求,获取响应
response = requests.get(url, params=params,headers=headers)

# 输出
print(response.json())

# 关闭响应
response.close()

3.运行结果

start为60 的运行结果


start为0 的运行结果

本文是转载文章,点击查看原文
如有侵权,请联系 xyy@jishuzhan.net 删除
相关推荐
小杨4047 分钟前
python入门系列十四(多进程)
人工智能·python·pycharm
ONE_Gua15 小时前
chromium魔改——CDP(Chrome DevTools Protocol)检测01
前端·后端·爬虫
用户277844910499315 小时前
借助DeepSeek智能生成测试用例:从提示词到Excel表格的全流程实践
人工智能·python
JavaEdge在掘金17 小时前
ssl.SSLCertVerificationError报错解决方案
python
我不会编程55518 小时前
Python Cookbook-5.1 对字典排序
开发语言·数据结构·python
ONE_Gua18 小时前
chromium魔改——navigator.webdriver 检测
前端·后端·爬虫
老歌老听老掉牙18 小时前
平面旋转与交线投影夹角计算
python·线性代数·平面·sympy
满怀101518 小时前
Python入门(7):模块
python
无名之逆18 小时前
Rust 开发提效神器:lombok-macros 宏库
服务器·开发语言·前端·数据库·后端·python·rust
你觉得20518 小时前
哈尔滨工业大学DeepSeek公开课:探索大模型原理、技术与应用从GPT到DeepSeek|附视频与讲义下载方法
大数据·人工智能·python·gpt·学习·机器学习·aigc