Python爬虫基础——案例:爬取豆瓣电影动画排行榜

主要采用了requests模块和json模块来实现豆瓣电影动画排行榜的爬取。

python 复制代码
##############################
##作者:白雪公主的后妈
##时间:2024年1月4日
##主题:Python爬虫基础------案例:爬取豆瓣电影动画排行榜
##############################
import requests
import json
import time
headers = {"user-agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36"}        #浏览器身份验证
url = "https://movie.douban.com/j/chart/top_list"       #请求的地址
params = {"type":"25","interval_id":"100:90","action":" ","start":"0","limit":"163"}     #需要携带的动态参数
response = requests.get(url,headers=headers,params=params)
# print(response)     #判断是否请求成功<Response [200]>
json_data = response.json()       #提取json数据
for i in json_data:
    Num_data = json.dumps(i,indent=4,ensure_ascii=False,separators=(', ', ': '))
    #ensure_ascii设置将数据编码后显示的文本内容,separators设置键之间、键和值之间的分隔符,indent设置缩进量
    # print(Num_data)
    # break #打印第一条json格式数据进行查看
with open("豆瓣电影动画排行榜.txt","w",encoding="utf-8") as fp:
    for i in json_data:
        title = i["title"]
        source = i["score"]
        fp.write(title+"  "+source+"\n")
# 输出json_data的个数
print("输出动画个数为:", len(json_data))

运行结果:

相关推荐
Tech Synapse6 分钟前
电商商品推荐系统实战:基于TensorFlow Recommenders构建智能推荐引擎
人工智能·python·tensorflow
聿小翼10 分钟前
selenium-wire 与 googletrans 的爱恨情仇
python
咖啡调调。12 分钟前
模板引擎语法-算术运算
python·django·sqlite
CodeCraft Studio13 分钟前
Excel处理控件Spire.XLS系列教程:Java设置Excel活动工作表或活动单元格
java·python·excel
Doker 多克13 分钟前
Python-Django系列—部件
开发语言·python
Linux运维老纪15 分钟前
Python文件操作及数据库交互(Python File Manipulation and Database Interaction)
linux·服务器·数据库·python·云计算·运维开发
Bruce_Liuxiaowei21 分钟前
MCP Python SDK构建的**SQLite浏览器**的完整操作指南
数据库·python·sqlite
q_q王22 分钟前
实时数字人——DH_LIVE
python·大模型·数字人·实时
子燕若水30 分钟前
解释PyTorch中的广播机制
人工智能·pytorch·python
偶尔微微一笑43 分钟前
sgpt在kali应用
linux·人工智能·python·自然语言处理