一、 爬取豆瓣电影排行榜数据
import requests
import json
url = 'https://movie.douban.com/j/chart/top_list'
param = {
'type':'24',
'interval_id':'100:90',
'action':'',
'start':'0', #从库中的第几部电影去取
'limit':'20',
}
headers = {
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:103.0) Gecko/20100101 Firefox/103.0'
}
response = requests.get(url=url,params=param,headers=headers)
list_data = response.json()
fp = open('e:/Reptile/douban.json','w',encoding='utf-8')
json.dump(list_data,fp=fp,ensure_ascii=False)
print('over!!!')
二、爬取数据时页面数据分析的重要性
在真正写爬虫之前，必须先做一件事：肉眼+工具"观察"页面，搞清楚数据到底以什么形式存在、藏在哪儿、怎样才能拿到。下面给你一张"观察清单"，按图索骥即可。
1. 先分清"页面呈现"≠"原始数据"
| 你在浏览器里看到的 | 实际在网络层传输的可能 |
|---|---|
| 表格/列表/文字 | HTML 片段、JSON、CSV、二进制图片/文件 |
| 点击"加载更多" | AJAX 异步请求返回 JSON |
| 无刷新翻页 | 后端接口分页参数（?page=2） |
| 图片懒加载 | data-src 真实地址延迟替换 src |
2. 四步现场勘查（用浏览器开发者工具 F12）
① Elements（元素）面板
看 DOM 结构：数据是直接嵌在 HTML 标签里，还是通过 JS 动态插入？
检查关键节点：id、class、data-* 属性，方便后面写 XPath/CSS 选择器。
② Network（网络）面板
刷新页面，筛选 XHR 或 Fetch 请求：
有没有 .json 结尾的接口？
请求参数里是否有 page、size、token？
看响应头：
Content-Type: application/json → 纯接口，直接抓。
Content-Type: text/html → 服务端渲染，用 HTML 解析。
Content-Type: image/* → 二进制流，用 requests.get().content 保存。
看响应体（Preview/Response 标签）：
是 HTML 片段？还是 JSON 数组？还是 base64 图片？
③ Sources（源码）面板
全局搜索关键字（Ctrl+Shift+F）：
搜接口关键词：api/v1/list、/search?keyword=。
搜加密/混淆字段：token、sign、_t。
定位 JS 变量：数据是否藏在 window.INITIAL_STATE 或某个全局变量？
④ Application（应用）面板
看 Cookies/LocalStorage/SessionStorage：
有没有身份令牌（sessionid、jwt）？
看 IndexedDB 是否缓存了离线数据。
3. 常见数据藏身方式及获取手段对照表
| 数据呈现方式 | 数据真实位置 | 获取方式 |
|---|---|---|
| 普通网页列表 | HTML 标签中 | requests.get() + BeautifulSoup 解析 |
| 下拉加载更多 | 异步 JSON 接口 | 直接 requests.get(api_url) 拿 JSON |
| 图片懒加载 | data-src 属性 |
提取真实地址再下载 |
| 加密参数 | JS 生成 sign |
① 抠算法 ② 用 PyExecJS/Node 复现 ③ 直接 Selenium |
| 登录后数据 | Cookie 鉴权 | 先 POST /login 拿 Cookie，后续带 Cookie 访问 |
| 无限滚动 | 分页 JSON 接口 | 找到 page= 参数循环请求 |
| 大文件下载 | 二进制流 | stream=True 分块保存 |
| 字体反爬 | 自定义字体文件 | 下载字体 → 映射字符 → 替换 |
4. 一句话口诀
"先 F12 看 Network，接口优先，HTML 兜底，JS 加密就拆算法。"
不确定类型？把 Response 内容复制到 JSON.cn 在线校验，看是否合法 JSON。
需要批量测试？用 Postman 或 curl 手动调接口，确认参数和返回格式。
遇到 403/401？检查 Headers 里的 User-Agent、Referer、Authorization 是否缺失。