爬虫学习(3)豆瓣电影

代码

python 复制代码
import requests
import json

if __name__ == "__main__":
    url = 'https://movie.douban.com/j/chart/top_list'
    #post请求参数处理(同get请求一致)
    headers = {
        "User-Agent": 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/124.0.0.0 Safari/537.36'
    }

    param = {
        'type':'24',
        'interval_id':'100:90',
        'action':'',
        'start':'1',
        'limit':'20'
    }


    response = requests.get(url=url,params=param,headers=headers)
    #获取响应数据:json()方法返回的是obj
    dic_obj = response.json()
    fileNmae = './douban.json'
    fp = open(fileNmae,'w',encoding='utf-8')
    json.dump(dic_obj,fp=fp,ensure_ascii=False)
    print('over!')

1.寻找信息

url='https://movie.douban.com/j/chart/top_list?type=24\&interval_id=100%3A90\&action=\&start=0\&limit=20'

数据格式为json

需要的数据可以在response中查看

2.将url中的参数写成字典

param = {

'type':'24',

'interval_id':'100:90',

'action':'',

'start':'1',

'limit':'20'

}

3.将得到的数据在json校验网站处理一下

json在线校验网站

相关推荐
过往入尘土9 小时前
网络爬虫的相关知识和操作
爬虫
iFulling9 小时前
【计算机网络】第四章:网络层(上)
学习·计算机网络
香蕉可乐荷包蛋10 小时前
AI算法之图像识别与分类
人工智能·学习·算法
Elastic 中国社区官方博客10 小时前
在 Windows 上使用 Docker 运行 Elastic Open Crawler
大数据·windows·爬虫·elasticsearch·搜索引擎·docker·容器
平凡灵感码头10 小时前
用 urllib 开启爬虫之门:从零掌握网页数据抓取
爬虫
xiaoli232710 小时前
课题学习笔记1——文本问答与信息抽取关键技术研究论文阅读(用于无结构化文本问答的文本生成技术)
笔记·学习
人生游戏牛马NPC1号10 小时前
学习 Flutter (四):玩安卓项目实战 - 中
android·学习·flutter
LGGGGGQ11 小时前
嵌入式学习-PyTorch(7)-day23
人工智能·pytorch·学习
stm 学习ing12 小时前
Python暑期学习笔记3
笔记·python·学习
屁股割了还要学12 小时前
【C语言进阶】内存函数
c语言·开发语言·学习·算法·青少年编程