15分钟学 Python 第40天:Python 爬虫入门(六)第一篇

Day40 :Python 爬取豆瓣网前一百的电影信息

1. 项目背景

在这个项目中,我们将学习如何利用 Python 爬虫技术从豆瓣网抓取前一百部电影的信息。通过这一练习,您将掌握网页抓取的基本流程,包括发送请求、解析HTML、存储数据等核心技术。

2. 项目目标

  • 爬取豆瓣电影前一百部电影的信息,包括电影名称、评分、评价人数和影片链接。
  • 将抓取的数据保存为CSV文件,便于后续分析。

3. 核心工具

  • Python 3.x :作为编程语言。
  • requests :用于发送 HTTP 请求。
  • BeautifulSoup :用于解析 HTML 文档。
  • pandas :用于数据存储和处理。
  • CSV :文件格式,用于存储数据。

4. 环境准备

确保您的环境中安装了以下库。在终端中运行以下命令:

bash 复制代码
pip install requests beautifulsoup4 pandas

5. 数据抓取流程

5.1 确定目标网址

我们需要爬取的目标网址为:https://movie.douban.com/top250

5.2 发送请求

使用 requests 库向网页发送请求,获取网页内容。

5.3 解析HTML

使用 BeautifulSoup 解析获取的 HTML 文档。

5.4 提取电影信息

从解析的内容中提取所需的电影信息。

5.5 数据存储

将提取到的数据存储为 CSV 文件。

5.6 运行流程图

开始 发送请求到豆瓣 获取HTML内容 解析HTML 提取电影信息 存储数据到CSV 结束

6. 示例代码

以下是完整的代码示例,分为几个功能部分以便更好理解。

6.1 导入必要的库

python 复制代码
import requests
from bs4 import BeautifulSoup
import pandas as pd

6.2 发送请求并获取页面内容

python 复制代码
def fetch_page(url):
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36'
    }
    response = requests.get(url, headers=headers)
    if response.status_code == 200:
        return response.text
    else:
        print("请求失败", response.status_code)
        return None

6.3 解析HTML并提取信息

python 复制代码
def parse_page(html):
    soup = BeautifulSoup(html, 'html.parser')
    movies = []
    for item in soup.find_all('div', class_='item'):
        title = item.find('span', class_='title').text
        rating = item.find('span', class_='rating_num').text
        num_ratings = item.find('div', class_='star').find_all('span')[-1].text[:-3]  # 去掉"人评价"
        link = item.find('a')['href']
        movies.append({
            'Title': title,
            'Rating': rating,
            'Number of Ratings': num_ratings,
            'Link': link
        })
    return movies

6.4 存储数据到CSV

python 复制代码
def save_to_csv(movies, filename='douban_movies.csv'):
    df = pd.DataFrame(movies)
    df.to_csv(filename, index=False, encoding='utf-8-sig')
    print(f"数据已保存到 {filename}")

6.5 主程序

python 复制代码
def main():
    url = 'https://movie.douban.com/top250'
    html = fetch_page(url)
    if html:
        movies = parse_page(html)
        save_to_csv(movies)

if __name__ == '__main__':
    main()

7. 数据分析与检查

运行完毕后,我们可以使用 pandas 读取 CSV 文件并检查数据:

python 复制代码
def load_and_check_csv(filename='douban_movies.csv'):
    df = pd.read_csv(filename)
    print(df.head())
    print(f"总电影数: {len(df)}")

load_and_check_csv()

8. 样例输出

执行后,输出的 douban_movies.csv 文件中将包含如下示例数据:

Title Rating Number of Ratings Link
肖申克的救赎 9.7 732099 https://movie.douban.com/subject/278\\n
这个杀手不太冷 9.4 626208 https://movie.douban.com/subject/1309191\\n
霸王别姬 9.6 595214 https://movie.douban.com/subject/1291546\\n

9. 注意事项

  1. 反爬虫机制:豆瓣可能会使用反爬虫技术,如果频繁请求可能会被封禁,建议在请求之间加上延迟。
  2. 合法合规:请遵循使用网站的使用协议,确保抓取信息不违反网站的政策。
  3. 数据质量:抓取到的内容质量可能会有所不同,需要在处理和存储时多加注意。

10. 总结

通过这个项目,您学习了怎样使用 Python 爬虫从豆瓣网抓取数据。掌握了数据获取、解析和存储的基本流程。接下来可以尝试改进程序,例如:增加多线程支持、提取更多信息、抓取多个页面等,以深入理解 Python 爬虫的潜力和应用。



怎么样今天的内容还满意吗?再次感谢观众老爷的观看。
最后,祝您早日实现财务自由,还请给个赞,谢谢!

相关推荐
m0_6996595612 分钟前
QT知识点复习
开发语言·qt
车载诊断技术15 分钟前
基于新一代电子电器架构的SOA服务设计方法
人工智能·架构·汽车·计算机外设·ecu故障诊断指南
南玖yy15 分钟前
C语言:数组的介绍与使用
c语言·开发语言·算法
Luzem031917 分钟前
使用朴素贝叶斯对自定义数据集进行分类
人工智能·机器学习
小菜鸟博士18 分钟前
手撕Vision Transformer -- Day1 -- 基础原理
人工智能·深度学习·学习·算法·面试
米码收割机29 分钟前
【python】tkinter实现音乐播放器(源码+音频文件)【独一无二】
开发语言·python·pygame
找方案32 分钟前
智慧城市(城市大脑)建设方案
人工智能·智慧城市·城市大脑
老艾的AI世界38 分钟前
AI定制祝福视频,广州塔、动态彩灯、LED表白,直播互动新玩法(附下载链接)
图像处理·人工智能·深度学习·神经网络·目标检测·机器学习·ai·ai视频·ai视频生成·ai视频制作
星如雨グッ!(๑•̀ㅂ•́)و✧40 分钟前
Java NIO全面详解
java·python·nio
笛柳戏初雪1 小时前
Python中的函数(下)
开发语言·python