Python爬虫基础——案例:爬取豆瓣电影动画排行榜

主要采用了requests模块和json模块来实现豆瓣电影动画排行榜的爬取。

python 复制代码
##############################
##作者:白雪公主的后妈
##时间:2024年1月4日
##主题:Python爬虫基础------案例:爬取豆瓣电影动画排行榜
##############################
import requests
import json
import time
headers = {"user-agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36"}        #浏览器身份验证
url = "https://movie.douban.com/j/chart/top_list"       #请求的地址
params = {"type":"25","interval_id":"100:90","action":" ","start":"0","limit":"163"}     #需要携带的动态参数
response = requests.get(url,headers=headers,params=params)
# print(response)     #判断是否请求成功<Response [200]>
json_data = response.json()       #提取json数据
for i in json_data:
    Num_data = json.dumps(i,indent=4,ensure_ascii=False,separators=(', ', ': '))
    #ensure_ascii设置将数据编码后显示的文本内容,separators设置键之间、键和值之间的分隔符,indent设置缩进量
    # print(Num_data)
    # break #打印第一条json格式数据进行查看
with open("豆瓣电影动画排行榜.txt","w",encoding="utf-8") as fp:
    for i in json_data:
        title = i["title"]
        source = i["score"]
        fp.write(title+"  "+source+"\n")
# 输出json_data的个数
print("输出动画个数为:", len(json_data))

运行结果:

相关推荐
赴33521 分钟前
机器学习 集成学习之随机森林
人工智能·python·随机森林·机器学习·集成学习·sklearn·垃圾邮件判断
站大爷IP31 分钟前
掌握这五个Python核心知识点,编程效率翻倍!
python
星座52843 分钟前
最新基于Python科研数据可视化实践技术
python·信息可视化·可视化·数据可视化
站大爷IP1 小时前
Python流程控制:让代码按你的节奏跳舞
python
就是帅我不改1 小时前
深度模拟用户行为:用Playwright爬取B站弹幕与评论数据
爬虫·数据挖掘
gnawkhhkwang2 小时前
Flask + YARA-Python*实现文件扫描功能
后端·python·flask
yj15582 小时前
二手房翻新时怎样装修省钱?
python
max5006002 小时前
复现论文《A Fiber Bragg Grating Sensor System for Train Axle Counting》
开发语言·python·深度学习·机器学习·matlab·transformer·机器翻译
WSSWWWSSW2 小时前
Python高级编程与实践:Python网络编程基础与实践
开发语言·网络·python