一、爬虫-爬取豆瓣电影案例

弦之森2023-11-30 9:20

1、环境配置

你需要一个pycharm和requests第三方库，在安装完成之后即可继续浏览。

2、操作流程

（1）打开豆瓣电影网站，点击排行榜，点击喜剧，检查

（2）可以看到鼠标每次下移，都会出现新的电影，所以该页面属于局部刷新，返回数据为json格式数据，得到url，并且得到type参数

""如何查看此处不演示，主要是不敢""

（3）编写代码

python 复制代码

import json
import requests
if __name__ == "__main__":
    get_url = "https://movie.douban.com/j/chart/top_list"
    get_param = {
        "type": "24",
        "interval_id": "100:90",
        "action": "",
        # start代表从豆瓣电影库中第120部电影获取
        "start": "1",
        # 每次请求去除的数量是limit
        "limit": "20",
    }
    get_headers = {
        'User-Agent': "Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/119.0.0.0 Mobile Safari/537.36"
    }
    # 响应
    response = requests.get(url=get_url, params=get_param, headers=get_headers)
    # 获取响应数据
    list_data = response.json()
    # 持久化存储
    fp = open('./html/douban.json', 'w', encoding='UTF-8')
    json.dump(list_data, fp=fp, ensure_ascii=False)
    print("over")

3、爬取结果

在运行成功之后，会得到一个json格式文件，文件目录为：

./爬虫/html/douban.json