【python爬虫】豆瓣爬虫学习

文章目录


Python爬虫学习 :我们可以选择一个相对简单的网站进行数据抓取。这里以抓取"豆瓣电影Top250"的信息为例,这个网站提供了丰富的电影数据,包括电影名称、评分、导演、演员等信息。

网页地址

爬虫目标

  • 抓取每部电影的名称、评分、简介和前几位主演的名字。

技术栈

  1. Python 3.x
  2. requests:用于发送HTTP请求。
  3. BeautifulSoup4:用于解析HTML文档。

爬虫代码

首先,确保你已经安装了requests和beautifulsoup4库,如果没有安装,可以通过以下命令安装:

bash 复制代码
pip install requests beautifulsoup4

以下是完整的爬虫代码:

python 复制代码
# 导入requests库用于发送HTTP请求
import requests
# 导入BeautifulSoup库用于解析HTML文档
from bs4 import BeautifulSoup

# 定义一个函数用于获取电影数据
def fetch_movie_data():
    # 设置请求的URL,这里是豆瓣电影Top 250的页面
    url = "https://movie.douban.com/top250"
    # 设置请求头,伪装成浏览器访问
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'
    }
    
    # 发送GET请求,获取页面内容
    response = requests.get(url, headers=headers)
    # 使用BeautifulSoup解析获取到的页面内容
    soup = BeautifulSoup(response.text, 'html.parser')
    
    # 查找页面中所有的电影条目
    movies = soup.find_all('div', class_='item')
    
    # 遍历每部电影条目
    for movie in movies:
        # 提取电影标题
        title = movie.find('span', class_='title').text
        # 提取电影评分
        rating = movie.find('span', class_='rating_num').text
        # 提取电影的详细信息,这里只取第一行
        info = movie.find('div', class_='bd').find('p').text.strip().split('\n')[0]
        
        # 提取主演信息,可能有多个主演,通过分割和筛选获取
        actors = [actor.strip() for actor in info.split('/') if actor.strip().startswith('主演')]
        # 如果有主演信息,去除'主演:'并用逗号连接,否则显示'N/A'
        actors = ', '.join(actors).replace('主演:', '') if actors else 'N/A'
        
        # 打印电影的标题、评分和主演信息
        print(f"Title: {title}")
        print(f"Rating: {rating}")
        print(f"Actors: {actors}\n")

# 判断是否是直接运行此脚本,如果是,则调用fetch_movie_data函数
if __name__ == "__main__":
    fetch_movie_data()

代码解释:

这段Python代码定义了一个函数fetch_movie_data()用于从豆瓣电影Top250页面抓取电影数据,包括电影标题、评分以及主演信息,并打印这些信息。

下面是代码的详细解释:

  1. 导入必要的库:

    • requests:用于发送HTTP请求。
    • BeautifulSoup:用于解析HTML文档。
  2. 定义fetch_movie_data函数:

    • 设置目标URL为豆瓣电影Top250页面。
    • 设置请求头headers,其中包含一个模拟浏览器的User-Agent字符串,这是为了绕过网站可能的反爬虫机制。
  3. 发送GET请求并解析HTML:

    • 使用requests.get方法发送GET请求到指定URL,获取响应文本。
    • 使用BeautifulSoup解析响应文本,创建一个soup对象,这个对象可以用来解析和提取HTML元素。
  4. 提取电影信息:

    • 使用soup.find_all找到所有的电影条目,每个电影条目是一个div标签,类名为item。
    • 对于每部电影,使用find方法来查找特定的信息:
      • 电影名称:查找类名title的span标签。
      • 评分:查找类名rating_num的span标签。
      • 信息:查找div标签下的p标签,此标签通常包含电影的年份、国家、类型及演员等信息。
    • 从info中提取主演信息,通过查找以"主演"开始的字符串,然后去除"主演:",并将所有主演名字用逗号连接起来。
  5. 打印电影信息:

    • 打印电影标题、评分和主演信息。
  6. 执行函数:

    • 在__main__模块下调用fetch_movie_data函数,执行抓取和打印操作。

注意事项

  1. 遵守网站规则 :在实际操作中,请确保你的行为符合目标网站的robots.txt文件规定,不要对服务器造成过大负担。
  2. 动态加载内容:有些网站使用JavaScript动态加载内容,这可能需要使用如Selenium这样的工具来模拟浏览器行为。
  3. 错误处理:在实际应用中,应加入更完善的错误处理机制,比如重试策略、超时设置等。

漠漠水田飞白鹭,阴阴夏木啭黄鹂。

相关推荐
DKPT3 分钟前
Python 的 Web 框架:选型选错的人,都踩了同一个坑
python
优化Henry4 分钟前
LTE 站点 S1 链路反复闪断导致小区频闪退服故障排查
运维·网络·学习·信息与通信·tdd
2401_868534781 小时前
逻辑网络设计
网络·python
2601_967979121 小时前
python如何组织文件?python文件操作全介绍!
python·文件操作·压缩文件·遍历文件夹·shutil模块
青少儿编程课堂1 小时前
蓝桥杯·全国青少年信息素养大赛·电子学会Python/C++考级:扫描线与线段树求矩形面积并解析
c++·python·算法·bfs·信息学竞赛
羲云网络1 小时前
GPT Image 2.6 商品图交付:用文件指纹排查错图、覆盖与版本串线
图像处理·人工智能·python·技术教程·文件校验
wuyk5552 小时前
Spider-第14讲-表单提交与CSRF
前端·爬虫·python·elasticsearch·csrf
汤姆宝库2 小时前
RoPE旋转位置编码的实现与长上下文外推
python·深度学习·机器学习
用户019027581613 小时前
股票代码格式对照:各数据源代码转 AlphaFeed
python
__underline__3 小时前
冷门Python知识点005篇:list.sort( )的排序稳定性,是用0字节额外内存实现的
python·算法