目录

一、爬虫-爬取豆瓣电影案例

1、环境配置

你需要一个pycharm和requests第三方库,在安装完成之后即可继续浏览。

2、操作流程

(1)打开豆瓣电影网站,点击排行榜,点击喜剧,检查

(2)可以看到鼠标每次下移,都会出现新的电影,所以该页面属于局部刷新,返回数据为json格式数据,得到url,并且得到type参数

""如何查看此处不演示,主要是不敢""

(3)编写代码

python 复制代码
import json
import requests
if __name__ == "__main__":
    get_url = "https://movie.douban.com/j/chart/top_list"
    get_param = {
        "type": "24",
        "interval_id": "100:90",
        "action": "",
        # start代表从豆瓣电影库中第120部电影获取
        "start": "1",
        # 每次请求去除的数量是limit
        "limit": "20",
    }
    get_headers = {
        'User-Agent': "Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/119.0.0.0 Mobile Safari/537.36"
    }
    # 响应
    response = requests.get(url=get_url, params=get_param, headers=get_headers)
    # 获取响应数据
    list_data = response.json()
    # 持久化存储
    fp = open('./html/douban.json', 'w', encoding='UTF-8')
    json.dump(list_data, fp=fp, ensure_ascii=False)
    print("over")

3、爬取结果

在运行成功之后,会得到一个json格式文件,文件目录为:

./爬虫/html/douban.json

本文是转载文章,点击查看原文
如有侵权,请联系 xyy@jishuzhan.net 删除
相关推荐
ONE_Gua3 小时前
chromium魔改——CDP(Chrome DevTools Protocol)检测01
前端·后端·爬虫
ONE_Gua6 小时前
chromium魔改——navigator.webdriver 检测
前端·后端·爬虫
z_mazin11 小时前
JavaScript逆向魔法:Chrome开发者工具探秘之旅
javascript·chrome·爬虫
攻城狮7号21 小时前
Python爬虫第2节-网页基础和爬虫基本原理
爬虫·python爬虫
π2701 天前
爬虫:网络请求(通信)步骤,http和https协议
网络·爬虫
叫我王富贵i1 天前
0基础入门scrapy 框架,获取豆瓣top250存入mysql
爬虫·python·scrapy
小爬虫程序猿1 天前
利用 PHP 爬虫按关键字搜索淘宝商品
开发语言·爬虫·php
小爬虫程序猿1 天前
淘宝商品信息如何存储到数据库?
数据库·爬虫·php
南玖yy1 天前
Python网络爬虫:从入门到实践
爬虫·python
莓事哒1 天前
selenium和pytessarct提取古诗文网的验证码(python爬虫)
爬虫·python·selenium·测试工具·pycharm