爬虫学习(3)豆瓣电影

代码

python 复制代码
import requests
import json

if __name__ == "__main__":
    url = 'https://movie.douban.com/j/chart/top_list'
    #post请求参数处理(同get请求一致)
    headers = {
        "User-Agent": 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/124.0.0.0 Safari/537.36'
    }

    param = {
        'type':'24',
        'interval_id':'100:90',
        'action':'',
        'start':'1',
        'limit':'20'
    }


    response = requests.get(url=url,params=param,headers=headers)
    #获取响应数据:json()方法返回的是obj
    dic_obj = response.json()
    fileNmae = './douban.json'
    fp = open(fileNmae,'w',encoding='utf-8')
    json.dump(dic_obj,fp=fp,ensure_ascii=False)
    print('over!')

1.寻找信息

url='https://movie.douban.com/j/chart/top_list?type=24\&interval_id=100%3A90\&action=\&start=0\&limit=20'

数据格式为json

需要的数据可以在response中查看

2.将url中的参数写成字典

param = {

'type':'24',

'interval_id':'100:90',

'action':'',

'start':'1',

'limit':'20'

}

3.将得到的数据在json校验网站处理一下

json在线校验网站

相关推荐
码荼2 小时前
学习开发之hashmap
java·python·学习·哈希算法·个人开发·小白学开发·不花钱不花时间crud
武昌库里写JAVA3 小时前
Oracle如何使用序列 Oracle序列使用教程
java·开发语言·spring boot·学习·课程设计
祁思妙想4 小时前
八股学习(三)---MySQL
数据库·学习·mysql
amazinging5 小时前
北京-4年功能测试2年空窗-报培训班学测开-第四十一天
python·学习·appium
Jyywww1215 小时前
微信小程序学习笔记
笔记·学习·微信小程序
amazinging5 小时前
北京-4年功能测试2年空窗-报培训班学测开-第三十九天
python·学习·appium
每次的天空5 小时前
Android-自定义View的实战学习总结
android·学习·kotlin·音视频
重庆小透明5 小时前
力扣刷题记录【1】146.LRU缓存
java·后端·学习·算法·leetcode·缓存
许白掰7 小时前
【stm32】HAL库开发——CubeMX配置RTC,单片机工作模式和看门狗
stm32·单片机·嵌入式硬件·学习·实时音视频
future14128 小时前
C#学习日记
开发语言·学习·c#