一、爬虫-爬取豆瓣电影案例

1、环境配置

你需要一个pycharm和requests第三方库,在安装完成之后即可继续浏览。

2、操作流程

(1)打开豆瓣电影网站,点击排行榜,点击喜剧,检查

(2)可以看到鼠标每次下移,都会出现新的电影,所以该页面属于局部刷新,返回数据为json格式数据,得到url,并且得到type参数

""如何查看此处不演示,主要是不敢""

(3)编写代码

python 复制代码
import json
import requests
if __name__ == "__main__":
    get_url = "https://movie.douban.com/j/chart/top_list"
    get_param = {
        "type": "24",
        "interval_id": "100:90",
        "action": "",
        # start代表从豆瓣电影库中第120部电影获取
        "start": "1",
        # 每次请求去除的数量是limit
        "limit": "20",
    }
    get_headers = {
        'User-Agent': "Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/119.0.0.0 Mobile Safari/537.36"
    }
    # 响应
    response = requests.get(url=get_url, params=get_param, headers=get_headers)
    # 获取响应数据
    list_data = response.json()
    # 持久化存储
    fp = open('./html/douban.json', 'w', encoding='UTF-8')
    json.dump(list_data, fp=fp, ensure_ascii=False)
    print("over")

3、爬取结果

在运行成功之后,会得到一个json格式文件,文件目录为:

./爬虫/html/douban.json

相关推荐
Amazon数据采集5 小时前
[5 万字]手把手教你写一个能打的Amazon评论爬虫,搞定反爬和登录限制!(2025版)
爬虫·python
爱隐身的官人13 小时前
爬虫基础学习-链接协议分析,熟悉相关函数
爬虫·学习
binbinaijishu8818 小时前
Python爬虫入门指南:从零开始的网络数据获取之旅
开发语言·爬虫·python·其他
眰恦ゞLYF20 小时前
TCP与HTTP协议以及爬虫
爬虫·网络协议·tcp协议·http协议
LCS-3121 天前
Python爬虫实战: 爬虫常用到的技术及方案详解
开发语言·爬虫·python
电商数据girl1 天前
Python 爬虫获得淘宝商品详情 数据【淘宝商品API】
大数据·开发语言·人工智能·爬虫·python·json·php
傻啦嘿哟1 天前
Rust爬虫实战:用reqwest+select打造高效网页抓取工具
开发语言·爬虫·rust
杨荧2 天前
基于Python的农作物病虫害防治网站 Python+Django+Vue.js
大数据·前端·vue.js·爬虫·python
K哥爬虫2 天前
【验证码逆向专栏】某奇艺滑块验证码逆向分析
爬虫
K哥爬虫2 天前
【验证码逆向专栏】某手滑块逆向、风控分析
爬虫