爬虫学习(3)豆瓣电影

代码

python 复制代码
import requests
import json

if __name__ == "__main__":
    url = 'https://movie.douban.com/j/chart/top_list'
    #post请求参数处理(同get请求一致)
    headers = {
        "User-Agent": 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/124.0.0.0 Safari/537.36'
    }

    param = {
        'type':'24',
        'interval_id':'100:90',
        'action':'',
        'start':'1',
        'limit':'20'
    }


    response = requests.get(url=url,params=param,headers=headers)
    #获取响应数据:json()方法返回的是obj
    dic_obj = response.json()
    fileNmae = './douban.json'
    fp = open(fileNmae,'w',encoding='utf-8')
    json.dump(dic_obj,fp=fp,ensure_ascii=False)
    print('over!')

1.寻找信息

url='https://movie.douban.com/j/chart/top_list?type=24\&interval_id=100%3A90\&action=\&start=0\&limit=20'

数据格式为json

需要的数据可以在response中查看

2.将url中的参数写成字典

param = {

'type':'24',

'interval_id':'100:90',

'action':'',

'start':'1',

'limit':'20'

}

3.将得到的数据在json校验网站处理一下

json在线校验网站

相关推荐
Z21-X9 小时前
云原生运维学习笔记:Kubernetes Volume 与 Secret 实验
运维·笔记·学习·云原生·kubernetes
wuyk5559 小时前
Spider-第20讲-综合实战可上线爬虫
大数据·爬虫·python·elasticsearch
console.log('npc')13 小时前
Python 学习教程 · 第4课:数据结构
数据结构·python·学习
星落梦生16 小时前
Docker学习(11)
学习·docker·容器
重生之我是萧炎2 天前
PR安装教程,Adobe Premiere Pro安装教程(含安装包),仅供学习使用
学习·adobe
蒸蒸yyyyzwd2 天前
深搜广搜学习笔记
笔记·学习
叼烟扛炮2 天前
[LangChain] 学习笔记(13):并发不是越大越好——batch / gather / 信号量 / 配额治理
笔记·学习·langchain
渣渣盟2 天前
狂命爆肝99天,共52K字的JAVA学习笔记奉上,JAVA从入门到精通一文搞定,一文在手JAVA无忧
java·笔记·学习
叼烟扛炮2 天前
[LangChain] 学习笔记(09):工具(Tool)定义与调用闭环 · 理论+实战完整版
笔记·学习·langchain