python爬虫获取豆瓣前top250的标题(简单)

今天是简略的一篇,简单小实验

python 复制代码
import requests
from bs4 import BeautifulSoup

# 模拟浏览器的构成(请求头)
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/123.0.0.0 Safari/537.36 Edg/123.0.0.0"
}

for start_num in range(0,250,25):
    # 获取豆瓣top榜上前250部电影的响应内容
    response = requests.get(f"https://movie.douban.com/top250?start={start_num}", headers=headers)
    html = response.text
    # 传入方法,指定解析器为html.parser"
    soup = BeautifulSoup(html, "html.parser")
    all_titles=soup.findAll("span",attrs={"class":"title"})
    for title in all_titles:
        title_string=title.string
        if "/" not in title_string:
            print(title_string)

读取:

相关推荐
lsx2024069 分钟前
Django 视图详解
开发语言
多恩Stone9 分钟前
【ModelScope-1】数据集稀疏检出(Sparse Checkout)来下载指定目录
人工智能·python·算法·aigc
h***066516 分钟前
【JSqlParser】Java使用JSqlParser解析SQL语句总结
java·开发语言·sql
生而为虫17 分钟前
28.Python处理图像
人工智能·python·计算机视觉·pillow·pygame
代码or搬砖26 分钟前
Java Lambda 表达式全面详解
java·开发语言·python
这周也會开心35 分钟前
JDK1.8新增语法
java·开发语言
心随雨下38 分钟前
TypeScript泛型开发常见错误解析
java·开发语言·typescript
郝学胜-神的一滴1 小时前
现代OpenGL窗口管理:GLFW从入门到实战
开发语言·c++·程序人生·图形渲染·个人开发
用户41429296072391 小时前
批量商品信息采集工具获取商品详情的完整方案
爬虫·数据挖掘·数据分析
谁刺我心1 小时前
C++三种智能指针unique、shared、weak
开发语言·c++