文章目录
有需要本项目的代码或文档以及全部资源,或者部署调试可以私信博主
项目介绍
Bilibili 是一家中国的视频分享网站,提供原创、搞笑、影视、音乐、动画等多种类型的视频内容。随着 Bilibili 的日益普及,用户对其视频数据的需求不断增长,吸引了越来越多研究者对 Bilibili 上的视频数据进行研究和分析。
本文利用 Python 编程语言作为开发工具,结合 Vue 和 Flask 搭建了 Python 爬虫框架,并使用 ECharts 进行数据可视化。通过数据采集、数据清洗、数据分析等步骤,我们对 Bilibili 视频平台的用户行为和视频内容数据进行了详细分析和展示。分析结果显示,Bilibili 用户的喜好主要集中在动漫、游戏、音乐、电影、电视剧等领域,同时平台具有强烈的社交属性。此外,视频播放量、弹幕数量、评论数、视频时长等因素也对用户喜好产生显著影响。
通过本文的研究,可以更好地了解用户需求,优化视频内容,提高用户体验。
研究背景
Bilibili 是一个用户活跃度极高的在线视频分享平台,以 ACG(动画、漫画、游戏)领域为主要特色,同时涵盖音乐、舞蹈、娱乐、生活等多个领域的视频资源,受到广大用户的喜爱。Bilibili 平台用户活跃度高,视频内容丰富多样,对于了解用户行为、探究用户需求和优化视频推荐策略具有重要意义。本文利用 Python 作为编程语言,以 Bilibili 视频平台流行排行榜为例,采用数据采集、数据清洗、数据分析和数据可视化等方法,对 Bilibili 的用户行为和视频内容进行分析和展示。研究结果将为了解 Bilibili 平台用户需求、优化视频推荐策略和改进平台运营提供有益的参考。
研究现状
随着互联网和数字媒体的迅速发展,视频成为人们日常生活中的重要信息载体和娱乐方式。Python 爬虫在信息分析和可视化中扮演着重要角色。张荑阳等人[1] 利用 Python 爬虫技术,实现了豆瓣网站《小时代系列》电影的数据采集与分析可视化系统,展示了 Python 在电影数据处理和可视化方面的应用[2]。蔡文乐等人[3] 使用爬虫技术对豆瓣热度较高的电影《你好,李焕英》的影评数据进行了分析,为用户提供观影参考。邓慈云等人[4] 实现了豆瓣网站《长津湖》电影的数据爬取、清洗和可视化分析系统,使用多种图形直观地展示数据间的联系及变化,为中国电影发展提供参考。
在处理大量数据时,数据分析通过收集、整理、转化和解释数据,以获取见解和洞察。王晓阳[5] 利用《知网》的情感倾向分析方法对视频评论进行了研究,实现了视频评论特征词提取与情感倾向分析的自动化处理。部分视频评论以弹幕形式呈现,使用弹幕数据进行情感分析[6] 可以获取有效情感信息,帮助视频制作者和视频网站正确引导用户情感,制作出优质作品,促进网站发展。视频弹幕分析多种多样,朱晴和等人[8] 通过扩张、感染、交互与娱乐方面对短视频新闻进行弹幕评论分析,研究用户弹幕与评论信息交互特征,包括使用行为、情感倾向和时间分布,为弹幕视频内容制作、信息组织和用户体验设计提供参考[9]。刘渝妍等人[10] 以 B 站为例,通过网络爬虫收集数据,利用大数据技术对评论数据进行处理分析。
视频数据分析可以将结果以可视化方式呈现。施炜[11] 提出数据可视化及短视频数读时代的相关分析,数据可视化技术应用在图形化、场景化、简易化和动态化等方面,通过不同元素传达内容,使短视频在新媒体时代脱颖而出。抖音 APP 以准确定位、精简制作、智能算法推送[12] 等模式受到广大网民的欢迎。通过对抖音视频研究背景的讨论,重点分析抖音视频软件传播信息的特点和影响[13]。崔亚娟等人[14] 选取 B 站科普类短视频自媒体典型案例,阐释了 B 站科普短视频传播带来的"知沟"填补与重建及传播者和接受者的新型互动关系。李文瑜[15] 以 S-O-R 理论为基础,探究 B 站网络视频信息偶遇行为,结果显示:信息质量和系统与服务两个因素对用户的感知有用性与积极情感有显著正向作用。数据可视化[16] 能让用户快速理解数据趋势、关联性和分布情况,发现隐藏模式。杨应浩[17] 爬取爱奇艺网站中 1000 余部电影相关信息,展示 Python 在电影数据处理和可视化分析方面的优越性。宋云娟[18] 分析高校 2018---2022 年录取分数线和"文化自信"词云案例,介绍数据分析与可视化实践方法。薛晓宇等人[19] 运用 Python 与 ECharts 结合的数据可视化工具 Pycharts,处理个人计算机装配与调试数据,进行可视化大屏展示。可视化方法提高数据展示效率[20],实现数据多种形式的描述和表达,提升数据利用价值。
研究目的及意义
本文旨在设计一个基于 Python+ECharts 的大数据分析可视化大屏,以 Bilibili 视频网站为例,分析和展示短视频领域的相关数据。该可视化实现对 Bilibili 用户行为、视频时长、评论、点赞、原创、流量等数据的清洗、处理、分析和可视化,以提供清晰、可读的数据报告,帮助了解 Bilibili 的视频信息情况。本文通过总结和归纳已有文献,提出可视化设计思路和实现方案,并展示可视化效果。通过研究,该可视化有效辅助用户进行短视频领域的数据分析和决策。
利用 Python 和 ECharts 进行视频信息分析具有以下研究意义:视频信息分析作为新兴交叉学科,涉及数据挖掘、机器学习、文本分析、图像识别等领域的知识和技能。利用 Python 和 ECharts 进行视频信息分析,不仅实现数据快速处理,还能打通不同领域的数据分析工具,提高分析效率和精度。
通过分析用户行为、视频时长、评论、点赞、原创、流量等数据,帮助视频内容生产者和营销从业者了解受众需求和喜好,制定精准的内容策略和推广方案,为视频内容推广和营销提供科学依据。
数据采集及预处理
本章主要使用 Python 中的 Requests 和 BeautifulSoup 库进行数据爬取。通过 Requests 库从 Bilibili API 获取视频信息,并使用 BeautifulSoup 库解析 HTML 页面,以提取所需的信息。总共爬取了 Bilibili 平台视频数据 334552 条,包括文本类型和数字类型的数据,字段信息涵盖了 id、record_time、comment、typeid、play、pic、subtitle、description、title 等。
本文以 Bilibili 中的流行排行榜为数据源,如图 3.1 所示。首先,使用 Requests 库发送一个 HTTP GET 请求,然后使用 BeautifulSoup 库解析响应数据,如图 3.2 所示。
数据爬取步骤
数据清洗
使用 Python 的 Pandas、Numpy 数据处理库对数据进行处理,通过 Pandas 库将数据读入内存,并进行数据清洗和预处理。
处理后的数据更加符合可视化的要求,不存在缺失值和异常值,数据更加的规范,更加符合要求,使用 for 循环遍历了每篇文章,提取出了标题、日期和作者等信息。
最后,将处理后的数据使用 SQL 语句存入本地 MySQL 数据库中,方便为之后的数据分析和可视化提供数据支撑。
字段名 | 类型 | 是否为空 | 注释 |
---|---|---|---|
id | int | 否 | 主键ID |
record_time | int | 是 | 记录时间 |
comment | int | 是 | 评论数 |
typeid | int | 是 | 分类ID |
play | int | 是 | 播放数 |
pic | varchar | 是 | 缩略图 |
subtitle | varchar | 是 | 副标题 |
description | varchar | 是 | 视频描述 |
copyright | int | 是 | 是否为原创视频 |
title | varchar | 是 | 视频标题 |
review | int | 是 | 评分 |
author | varchar | 是 | 作者 |
created | int | 是 | 创建时间 |
length | varchar | 是 | 时长 |
video_review | int | 是 | 视频评分 |
aid | int | 是 | aid |
bvid | varchar | 是 | bvid |
hide_click | varchar | 是 | 是否隐藏点击 |
is_pay | int | 是 | 是否为付费视频 |
is_union_video | is_steins_gate | float | 是 |
is_live_playback | float | 是 | 是否可以回放 |
mid | int | 是 | mid |
数据分析与可视化
(1) 视频时长总共分为 5 分钟以下、5 至 10 分钟之间、10 至 15 分钟之间、10 至 20
分钟之间、20 分钟以上这 5 个视频时长区间。
(2) 不同视频时长下,反映了用户的观看量,和用户对不同视频时长的喜爱程度。
其他的可视化分析,这里就不展示了
总结
本文基于 Python 对 Bilibili 视频网站信息进行了分析和可视化,并展示了其实用性和可行性。在可视化实现过程中,采用了数据采集、数据清洗、数据预处理、数据分析等多种技术手段。这些技术手段不仅为本文的可视化提供了基础和保障,也为后续研究和应用提供了思路和方法。使用 JQuery、Vue、ECharts 等工具对视频数据进行可视化,通过绘制环形图、柱状图、饼图等图表,直观地展示视频时长、视频分类、原创视频及视频分类流量等信息,使用户更好地理解和分析数据。
总体而言,该研究详细介绍了使用 Python 对 Bilibili 视频信息进行分析和可视化的过程和方法,通过实际示例和代码展示,提供了如何获取数据、进行数据处理以及利用可视化工具展示数据的学习资源。这对于对 Bilibili 视频数据感兴趣的人具有一定的参考价值。
每文一语
欲速则不达