python爬虫获取豆瓣前top250的标题(简单)

今天是简略的一篇,简单小实验

python 复制代码
import requests
from bs4 import BeautifulSoup

# 模拟浏览器的构成(请求头)
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/123.0.0.0 Safari/537.36 Edg/123.0.0.0"
}

for start_num in range(0,250,25):
    # 获取豆瓣top榜上前250部电影的响应内容
    response = requests.get(f"https://movie.douban.com/top250?start={start_num}", headers=headers)
    html = response.text
    # 传入方法,指定解析器为html.parser"
    soup = BeautifulSoup(html, "html.parser")
    all_titles=soup.findAll("span",attrs={"class":"title"})
    for title in all_titles:
        title_string=title.string
        if "/" not in title_string:
            print(title_string)

读取:

相关推荐
拉普拉斯妖10811 小时前
DAY38 Dataset和DataLoader
python
jllllyuz11 小时前
matlab使用B样条进行曲线曲面拟合
开发语言·matlab
Michelle802312 小时前
24大数据 16-1 函数复习
python
dagouaofei12 小时前
AI自动生成PPT工具对比分析,效率差距明显
人工智能·python·powerpoint
ku_code_ku12 小时前
python bert_score使用本地模型的方法
开发语言·python·bert
小马哥编程12 小时前
【软考架构】滑动窗口限流算法的原理是什么?
java·开发语言·架构
云栖梦泽12 小时前
鸿蒙数据持久化实战:构建本地存储与云同步系统
开发语言·鸿蒙系统
wjs202412 小时前
《Ionic 侧栏菜单》
开发语言
祁思妙想12 小时前
linux常用命令
开发语言·python
流水落花春去也12 小时前
用yolov8 训练,最后形成训练好的文件。 并且能在后续项目使用
python