爬虫学习(3)豆瓣电影

代码

python 复制代码
import requests
import json

if __name__ == "__main__":
    url = 'https://movie.douban.com/j/chart/top_list'
    #post请求参数处理(同get请求一致)
    headers = {
        "User-Agent": 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/124.0.0.0 Safari/537.36'
    }

    param = {
        'type':'24',
        'interval_id':'100:90',
        'action':'',
        'start':'1',
        'limit':'20'
    }


    response = requests.get(url=url,params=param,headers=headers)
    #获取响应数据:json()方法返回的是obj
    dic_obj = response.json()
    fileNmae = './douban.json'
    fp = open(fileNmae,'w',encoding='utf-8')
    json.dump(dic_obj,fp=fp,ensure_ascii=False)
    print('over!')

1.寻找信息

url='https://movie.douban.com/j/chart/top_list?type=24\&interval_id=100%3A90\&action=\&start=0\&limit=20'

数据格式为json

需要的数据可以在response中查看

2.将url中的参数写成字典

param = {

'type':'24',

'interval_id':'100:90',

'action':'',

'start':'1',

'limit':'20'

}

3.将得到的数据在json校验网站处理一下

json在线校验网站

相关推荐
Wy. Lsy2 小时前
Kotlin基础学习记录
开发语言·学习·kotlin
The_Killer.2 小时前
格密码--数学基础--06对偶空间与对偶格
学习·线性代数·密码学
彤银浦3 小时前
Web学习笔记3
前端·笔记·学习·html5
之歆4 小时前
Python-魔术方法-创建、初始化与销毁-hash-bool-可视化-运算符重载-容器和大小-可调用对象-上下文管理-反射-描述器-二分-学习笔记
笔记·python·学习
优乐美香芋味好喝4 小时前
2025年7月11日学习笔记&一周归纳——模式识别与机器学习
笔记·学习·机器学习
声网5 小时前
对话 AI 陪伴新宠 Tolan 创始人:拒绝「恋爱脑」,「非人」陪伴更受欢迎?丨 Voice Agent 学习笔记
人工智能·笔记·学习
丁满与彭彭6 小时前
嵌入式学习笔记--MCU阶段--day03中断
笔记·单片机·学习
艾莉丝努力练剑7 小时前
【C语言】学习过程教训与经验杂谈:思想准备、知识回顾(五)
c语言·开发语言·数据结构·学习·算法
future14127 小时前
游戏开发日记7.12
数据结构·学习·c#·游戏开发
阿群今天学习了吗7 小时前
pytorch环境配置
人工智能·pytorch·python·学习·机器学习