Python爬虫基础——案例:爬取豆瓣电影动画排行榜

主要采用了requests模块和json模块来实现豆瓣电影动画排行榜的爬取。

python 复制代码
##############################
##作者:白雪公主的后妈
##时间:2024年1月4日
##主题:Python爬虫基础------案例:爬取豆瓣电影动画排行榜
##############################
import requests
import json
import time
headers = {"user-agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36"}        #浏览器身份验证
url = "https://movie.douban.com/j/chart/top_list"       #请求的地址
params = {"type":"25","interval_id":"100:90","action":" ","start":"0","limit":"163"}     #需要携带的动态参数
response = requests.get(url,headers=headers,params=params)
# print(response)     #判断是否请求成功<Response [200]>
json_data = response.json()       #提取json数据
for i in json_data:
    Num_data = json.dumps(i,indent=4,ensure_ascii=False,separators=(', ', ': '))
    #ensure_ascii设置将数据编码后显示的文本内容,separators设置键之间、键和值之间的分隔符,indent设置缩进量
    # print(Num_data)
    # break #打印第一条json格式数据进行查看
with open("豆瓣电影动画排行榜.txt","w",encoding="utf-8") as fp:
    for i in json_data:
        title = i["title"]
        source = i["score"]
        fp.write(title+"  "+source+"\n")
# 输出json_data的个数
print("输出动画个数为:", len(json_data))

运行结果:

相关推荐
Wellijohn10 小时前
我把公司内部的 12 个 CRUD 接口交给了 AI Agent,然后省出了两周
人工智能·python·mcp
2601_9679801111 小时前
python pytest怎样测试代码
python·pytest·测试·文档·断言
伞伞悦读12 小时前
【第92期】逻辑回归的分数概率与阈值的实验与排查
人工智能·python·深度学习·机器学习
ch62312 小时前
🚀 从零构建本地文档智能审查 Agent:Vibe Coding 实战指南
python
摇滚侠13 小时前
《On Java 中文版 基础卷》阅读笔记 接口 18
java·笔记·python
Thanks_ks13 小时前
AI Agent 开发入门:用 Function Calling 让大模型学会 “动手干活”,附订单查询机器人实战
python·ai·大模型·openai·agent·通义千问·mcp
专注仿真14 小时前
智能体训练之模仿学习:GAIL 算法详解与实战
python·算法·仿真·多智能体强化学习·afsim智能体训练
databook15 小时前
处理一批 PDF,怎么算真的处理完了
后端·python
承渊政道17 小时前
【Python编程快速上手—让繁琐工作自动化】(列表:把数据排成队,从下标取值到深拷贝)
开发语言·python·pycharm·自动化·列表
大胖爱学习_MJ17 小时前
Agent 如何安全地拿数据库密码?基于 HashiCorp Vault 的动态凭证下发
经验分享·python