Python爬虫基础——案例:爬取豆瓣电影动画排行榜

主要采用了requests模块和json模块来实现豆瓣电影动画排行榜的爬取。

python 复制代码
##############################
##作者:白雪公主的后妈
##时间:2024年1月4日
##主题:Python爬虫基础------案例:爬取豆瓣电影动画排行榜
##############################
import requests
import json
import time
headers = {"user-agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36"}        #浏览器身份验证
url = "https://movie.douban.com/j/chart/top_list"       #请求的地址
params = {"type":"25","interval_id":"100:90","action":" ","start":"0","limit":"163"}     #需要携带的动态参数
response = requests.get(url,headers=headers,params=params)
# print(response)     #判断是否请求成功<Response [200]>
json_data = response.json()       #提取json数据
for i in json_data:
    Num_data = json.dumps(i,indent=4,ensure_ascii=False,separators=(', ', ': '))
    #ensure_ascii设置将数据编码后显示的文本内容,separators设置键之间、键和值之间的分隔符,indent设置缩进量
    # print(Num_data)
    # break #打印第一条json格式数据进行查看
with open("豆瓣电影动画排行榜.txt","w",encoding="utf-8") as fp:
    for i in json_data:
        title = i["title"]
        source = i["score"]
        fp.write(title+"  "+source+"\n")
# 输出json_data的个数
print("输出动画个数为:", len(json_data))

运行结果:

相关推荐
AndrewHZ6 分钟前
【python与生活】如何用Python写一个简单的自动整理文件的脚本?
开发语言·python·生活·脚本·文件整理
binbinaijishu881 小时前
Python爬虫入门指南:从零开始的网络数据获取之旅
开发语言·爬虫·python·其他
Python代狂魔2 小时前
Redis
数据库·redis·python·缓存
眰恦ゞLYF3 小时前
TCP与HTTP协议以及爬虫
爬虫·网络协议·tcp协议·http协议
做科研的周师兄3 小时前
【机器学习入门】1.2 初识机器学习:从数据到智能的认知之旅
大数据·数据库·人工智能·python·机器学习·数据分析·机器人
王小王-1234 小时前
基于Python的游戏推荐与可视化系统的设计与实现
python·游戏·游戏推荐系统·游戏可视化
KevinWang_4 小时前
让 AI 写一个给图片加水印的 Python 脚本
python
go&Python5 小时前
检索模型与RAG
开发语言·python·llama
阿里云大数据AI技术5 小时前
ODPS 十五周年实录 | Data + AI,MaxCompute 下一个15年的新增长引擎
大数据·python·sql
RainbowJie16 小时前
Gemini CLI 与 MCP 服务器:释放本地工具的强大潜力
java·服务器·spring boot·后端·python·单元测试·maven