Python爬虫基础——案例:爬取豆瓣电影动画排行榜

主要采用了requests模块和json模块来实现豆瓣电影动画排行榜的爬取。

python 复制代码
##############################
##作者:白雪公主的后妈
##时间:2024年1月4日
##主题:Python爬虫基础------案例:爬取豆瓣电影动画排行榜
##############################
import requests
import json
import time
headers = {"user-agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36"}        #浏览器身份验证
url = "https://movie.douban.com/j/chart/top_list"       #请求的地址
params = {"type":"25","interval_id":"100:90","action":" ","start":"0","limit":"163"}     #需要携带的动态参数
response = requests.get(url,headers=headers,params=params)
# print(response)     #判断是否请求成功<Response [200]>
json_data = response.json()       #提取json数据
for i in json_data:
    Num_data = json.dumps(i,indent=4,ensure_ascii=False,separators=(', ', ': '))
    #ensure_ascii设置将数据编码后显示的文本内容,separators设置键之间、键和值之间的分隔符,indent设置缩进量
    # print(Num_data)
    # break #打印第一条json格式数据进行查看
with open("豆瓣电影动画排行榜.txt","w",encoding="utf-8") as fp:
    for i in json_data:
        title = i["title"]
        source = i["score"]
        fp.write(title+"  "+source+"\n")
# 输出json_data的个数
print("输出动画个数为:", len(json_data))

运行结果:

相关推荐
C嘎嘎嵌入式开发2 小时前
(2)100天python从入门到拿捏
开发语言·python
Stanford_11063 小时前
如何利用Python进行数据分析与可视化的具体操作指南
开发语言·c++·python·微信小程序·微信公众平台·twitter·微信开放平台
white-persist4 小时前
Python实例方法与Python类的构造方法全解析
开发语言·前端·python·原型模式
Java 码农5 小时前
Centos7 maven 安装
java·python·centos·maven
倔强青铜三5 小时前
苦练Python第63天:零基础玩转TOML配置读写,tomllib模块实战
人工智能·python·面试
深蓝电商API6 小时前
常见反爬虫策略与破解方案汇总
爬虫
浔川python社6 小时前
《网络爬虫技术规范与应用指南系列》(xc—3):合规实操与场景落地
python
B站计算机毕业设计之家6 小时前
智慧交通项目:Python+YOLOv8 实时交通标志系统 深度学习实战(TT100K+PySide6 源码+文档)✅
人工智能·python·深度学习·yolo·计算机视觉·智慧交通·交通标志
IT森林里的程序猿6 小时前
基于机器学习方法的网球比赛胜负趋势预测
python·机器学习·django
正牌强哥6 小时前
Futures_ML——机器学习在期货量化交易中的应用与实践
人工智能·python·机器学习·ai·交易·akshare