爬取电影数据结合Flask实现数据可视化

Serendipity_Carl2025-01-10 13:19

网站 :Scrape | Movie

|-------------------|-----------------|
| requests (网络请求模块) | pandas (数据保存模块) |
| parsel (数据解析模块) | lxml (数据解析模块) |
[本案例(爬虫)所需要的模块]

|------------------|-----------|
| pyecharts (可视化库) | flask(框架) |

以上的模块均需要通过 指令 pip install 模块名 安装

Explain:
分析此页面的数据为静态的还是动态加载的 右击打开查看页面源代码 可知此网站的数据为静态的
我们所需要采集的数据都在里面

**爬取步骤:

一. 发送请求 模拟浏览器向服务器发送请求**

F12 打开开发者工具 or 右击打开检查
接着分析html代码的结构 找出数据的所在位置
Class属性为( el-card item m-t is-hover-shadow**) div 包含我们的数据
通过类名拿到之后遍历取值**

python 复制代码 
# 导包 导入所需要的模块 库
import requests
import parsel
from lxml import etree

import pandas as pd

url = f'https://ssr1.scrape.center/page/{page}'
# 因为此网站无反爬 不需要加额外参数的请求头
headers = {
        'user-agent':
            'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/128.0.0.0 Safari/537.36 Edg/128.0.0.0',
        'referer': 'https://ssr1.scrape.center/page/2'
}
resp = requests.get(url, headers=headers)
# 实例一个selector对象
selector = parsel.Selector(resp.text)
# css 语法 获取所有的div
lis = selector.css('.el-card.item.m-t.is-hover-shadow')

进一步分析 各个数据的位置

电影名称 .m-b-sm::text 提取里面的文本

电影类型 .categories span::text 拿到所有的span标签中的文本

电影区域|上映时间|电影时长 .m-v-sm.info span::text 同上

详情页链接 .name::attr(href) 拿到详情页里面的剧情介绍

二. 解析数据

电影类型:

电影区域|上映时间|电影时长:

评分：

多页的数据采集


page 参数的不同 可以嵌套for循环实现

三. 提取数据 提取所需要的数据

python 复制代码 
import requests
import parsel
from lxml import etree

import pandas as pd

# 多页爬取
for page in range(1,11):
    url = f'https://ssr1.scrape.center/page/{page}'
    headers = {
        'user-agent':
            'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/128.0.0.0 Safari/537.36 Edg/128.0.0.0',
        # 多页爬取最好加个防盗链
        'referer': 'https://ssr1.scrape.center/page/2'
    }
    resp = requests.get(url, headers=headers)
    selector = parsel.Selector(resp.text)
    # 解析成html
    html = etree.HTML(resp.text)
    lis = selector.css('.el-card.item.m-t.is-hover-shadow')
    for li in lis:
        title = li.css('.m-b-sm::text').get()
        # 转换成字符串 处理成想要的数据
        score = ''.join(html.xpath("//*[@class ='score m-t-md m-b-n-sm']/text()")[0]).strip()
        type = ' '.join(li.css('.categories span::text').getall())
        # 对得到的列表数据取值
        area = li.css('.m-v-sm.info span::text').getall()[0]
        time = li.css('.m-v-sm.info span::text').getall()[-2]
        upload_time = li.css('.m-v-sm.info span::text').getall()[-1]
        # 电影封面数据
        img_url = li.css('.cover::attr(src)').get()
        # 电影内页链接
        href = li.css('.name::attr(href)').getall()
        # for 循环遍历 拼接URL 地址获取剧情简介
        for i in href:
            inner_url = 'https://ssr1.scrape.center' + i
            response = requests.get(url=inner_url, headers=headers)
            inner_select = parsel.Selector(response.text)
            # 获取数据 转换成字符串
            introduce = ''.join(inner_select.css('.drama p::text').get()).strip()
            # 用字典封装起来
            dit = {
                "title": title,
                "score": score,
                "type": type,
                "area": area,
                "time": time,
                "upload_time": upload_time,
                "introduce": introduce,
                "img_url": img_url,
            }

四.保存数据 保存数据到本地

python 复制代码 
# 定义一个空列表
all = []
# 将字典数据添加到列表中
all.append(dit)
# 通过pandas 保存数据 不保存索引
pd.DataFrame(all).to_excel('movie_info.xlsx', index=False)

完整代码如下:
仅供学习参考

python 复制代码 
import requests
import parsel
from lxml import etree

import pandas as pd

all = []
for page in range(1,11):
    url = f'https://ssr1.scrape.center/page/{page}'
    headers = {
        'user-agent':
            'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/128.0.0.0 Safari/537.36 Edg/128.0.0.0',
        'referer': 'https://ssr1.scrape.center/page/2'
    }
    resp = requests.get(url, headers=headers)
    selector = parsel.Selector(resp.text)
    html = etree.HTML(resp.text)
    lis = selector.css('.el-card.item.m-t.is-hover-shadow')
    for li in lis:
        title = li.css('.m-b-sm::text').get()
        score = ''.join(html.xpath("//*[@class ='score m-t-md m-b-n-sm']/text()")[0]).strip()
        type = ' '.join(li.css('.categories span::text').getall())
        area = li.css('.m-v-sm.info span::text').getall()[0]
        time = li.css('.m-v-sm.info span::text').getall()[-2]
        upload_time = li.css('.m-v-sm.info span::text').getall()[-1]
        img_url = li.css('.cover::attr(src)').get()
        href = li.css('.name::attr(href)').getall()
        for i in href:
            inner_url = 'https://ssr1.scrape.center' + i
            response = requests.get(url=inner_url, headers=headers)
            inner_select = parsel.Selector(response.text)
            introduce = ''.join(inner_select.css('.drama p::text').get()).strip()
            dit = {
                "title": title,
                "score": score,
                "type": type,
                "area": area,
                "time": time,
                "upload_time": upload_time,
                "introduce": introduce,
                "img_url": img_url,
            }
            all.append(dit)
            pd.DataFrame(all).to_excel('movie_info.xlsx', index=False)

运行 数据采集成功

处理数据 将想要的字段数据可视化 生成图表

python 复制代码 
#导包
import pandas as pd
from pyecharts.charts import Line
# 配置项
from pyecharts import options as opt

# 读取文件
df = pd.read_excel('movie_info.xlsx')
title = df['title'].tolist()
score = df['score'].tolist()
bar =(
    Line()
    # 添加x y轴数据
    .add_xaxis(title)
    # 显示最大最小值的数据
    .add_yaxis('评分',score,markpoint_opts=opt.MarkPointOpts(
        data=[
            opt.MarkPointItem(type_='max'),
            opt.MarkPointItem(type_='min'),
        ]
    ))
    # 设置标题
    .set_global_opts(
        title_opts=opt.TitleOpts(
            title='电影信息评分'
        ),
    )
    # 隐藏其它的数值
    .set_series_opts(label_opts=opt.LabelOpts(
        is_show=False
    ))
).render('score.html')
# 生产html文件

接着渲染到Flask上

render_template：它是一个用于渲染模板文件的函数。在 Flask 中，通常会将 HTML 页面等内容写在模板文件里（比如使用 Jinja2 模板引擎的模板文件），这个函数能够将模板文件与 Python 代码中的数据结合起来，生成最终要返回给客户端的 HTML 页面等内容。

python 复制代码 
from flask import Flask,render_template,request


#这里实例化了 Flask 类，创建了一个 Flask 应用对象，并将当前模块的名称（通过 Python 内置的 __name__ 变量获取）传递给 Flask 类的构造函数。这个应用对象是后续定义路由、启动服务器等操作的基础
app = Flask(__name__)
# 设置路由
# 是一个装饰器，用于将一个 Python 函数（在这里是 view 函数）与一个特定的 URL 路径进行绑定，也就是定义了一个路由。在这个例子中，/ 表示应用的根路径，意味着当用户通过浏览器访问这个 Flask 应用的根 URL（比如 http://localhost:5000/，默认运行在 5000 端口）时，view 函数就会被调用
@app.route('/')
def view():
    return render_template('view.html')

if __name__ == '__main__':
    # 服务器的启动方式 通过刷新就可以实时查看
    app.run(debug=True)

点击就可以打开服务器看到我们渲染的图表了


本次的案例分享就到此结束感谢您的观看
您的点赞和关注是我更新的动力 后续我也会持续学习

相关推荐
m0_6632340132 分钟前
Rust并发编程实践：10分钟入门系统级编程
python·算法·rust
奔跑吧邓邓子1 小时前
【Python爬虫(69)】解锁游戏数据宝藏：Python爬虫实战攻略
开发语言·爬虫·python·游戏
FreakStudio2 小时前
开源一款数据转换扩展板-FreakStudio多米诺系列
python·单片机·嵌入式·电子diy
久绊A2 小时前
Ubuntu及其衍生系统安装Python
开发语言·python
奔跑吧邓邓子4 小时前
【Python爬虫(64)】从“听”开始：Python音频爬虫与语音数据处理全解析
开发语言·爬虫·python·音频·语音识别
deephub4 小时前
用PyTorch从零构建 DeepSeek R1：模型架构和分步训练详解
人工智能·pytorch·python·深度学习·deepseek
xiao智5 小时前
Ansible 数百台批量操作前期准备工作
linux·python·ansible
浪子西科5 小时前
【数据结构】（Python）第六章：图
开发语言·数据结构·python
起个破名想半天了5 小时前
Web自动化之Selenium添加网站Cookies实现免登录
python·selenium·cookie
程序趣谈5 小时前
算法随笔_57 : 游戏中弱角色的数量
数据结构·python·算法
热门推荐
01DeepSeek各版本说明与优缺点分析02本地部署DeepSeek教程（Mac版本）03如何在WPS和Word/Excel中直接使用DeepSeek功能04DeepSeek R1本地化部署 Ollama + Chatbox 打造最强 AI 工具05太炸裂了！清华大学deepseek从入门到精通使用手册又出第三版了，《普通人如何抓住DeepSeek红利》（无套路，直接下载）06DeepSeek本地部署详细指南07本地化部署AI知识库：基于Ollama+DeepSeek+AnythingLLM保姆级教程08Page Assist - 本地Deepseek模型 Web UI 的安装和使用09DeepSeek r1本地安装全指南10保姆级教程：利用Ollama与Open-WebUI本地部署 DeedSeek-R1大模型