基于JavaWeb+BS架构+SpringBoot+Vue+Hadoop短视频流量数据分析与可视化系统的设计和实现

文末获取源码

Lun文目录

目　　录

目　　录 I

1绪论 1

1.1开发背景 1

1.2开发目的与意义 1

1.2.1开发目的 1

1.2.2开发意义 2

1.3本文研究内容 2

2开发技术 3

2.1 Java介绍 3

2.2 Hadoop介绍 3

2.3 Scrapy介绍 4

2.4 MySql简介 4

2.5 SPRINGBOOT框架 4

2.6 B/S架构 5

2.7 Tomcat简介 5

3系统分析 7

3.1系统可行性分析 7

3.1.1技术可行性分析 7

3.1.2经济可行性分析 7

3.1.3法律可行性分析 7

3.2系统性能分析 7

3.3功能需求分析 8

3.3.1管理员需求分析 8

3.3.2用户需求分析 8

3.4系统流程分析 9

4系统设计 10

4.1功能模块设计 10

4.2数据库设计 10

4.2.1数据库设计原则 10

4.2.2系统E-R图 10

4.2.3数据库表设计 12

5系统实现 15

5.1 系统功能模块 15

5.2 管理员功能模块实现 17

6系统测试 21

6.1系统测试内容 21

6.1.1 登录测试 21

6.1.2 角色测试 21

6.1.3　性能测试 22

6.2测试用例执行结果 22

结论 23

参考文献 24

前言

随着我国经济的高速发展与人们生活水平的日益提高，人们对生活质量的追求也多种多样。尤其在人们生活节奏不断加快的当下，人们更趋向于足不出户解决生活上的问题，短视频流量数据分析与可视化管理展现了其蓬勃生命力和广阔的前景。与此同时，为解决短视频流量数据分析与可视化管理需求，短视频流量数据分析与可视化管理发展愈发多元化与网络化，与电子信息技术相结合。短视频流量数据分析与可视化系统应运而生。

该系统基于Hadoop平台，利用Java语言、MySQL数据库，结合目前流行的 B/S架构，将短视频流量数据分析与可视化管理的各个方面都集中到数据库中，以便于用户的需要。在确保系统稳定的前提下，能够实现多功能模块的设计和应用。该系统由管理员功能模块和用户模块组成。不同角色的准入制度是有严格区别的。各功能模块的设计也便于以后的系统升级和维护。该系统采用了软件组件化、精化体系结构、分离逻辑和数据等方法。

关键字：Java技术；短视频流量数据分析与可视化；Hadoop；B/S结构

主要技术

Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求，可以以流的形式访问（streaming access）文件系统中的数据。

Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，而MapReduce则为海量的数据提供了计算。主要有以下优点：

（1）高可靠性。Hadoop按位存储和处理数据的能力值得人们信赖。

（2）高扩展性。Hadoop是在可用的计算机集簇间分配数据并完成计算任务的，这些集簇可以方便地扩展到数以千计的节点中。

（3）高效性。Hadoop能够在节点之间动态地移动数据，并保证各个节点的动态平衡，因此处理速度非常快。高容错性。Hadoop能够自动保存数据的多个副本，并且能够自动将失败的任务重新分配。

（4）低成本。与一体机、商用数据仓库以及QlikView、Yonghong Z-Suite等数据集市相比，hadoop是开源的，项目的软件成本因此会大大降低。

2.3 Scrapy介绍

Scrapy是一个抓取系统数据和提取结构化数据的框架，它可以应用在广泛的应用中:Scrapy通常用于一系列应用，包括数据挖掘、信息处理或存储历史数据。使用Scrapy框架实现一个爬虫程序通常非常简单，抓取给定系统的内容或图像。

虽然Scrapy是为屏幕抓取(或者更准确地说是网页抓取)而设计的，但它也可以用于访问api以提取数据。

2.4 MySql简介

它以其优秀的性能、强大的功能以及良好的扩展性受到越来越多的关注。目前，国内已经有很多企业采用了该系统进行管理，取得了很好的效果。随着网络技术的发展。MySQL是最流行的关系型数据库管理系统之一，我的SQL是WEB应用应用程序中最好的RDBMS（Relational Database Management System）应用程序之一。MySQL是一个关系型数据库管理系统，在这个系统中，关系数据库将数据存储在不同的表中，而不是全部存储在一个大仓库中，从而提高了速度和灵活性。

在信息管理中，对于数据库的应用也日益广泛，不仅有效对信息管理的质量进行了提升，也进一步提升了信息管理的安全性，让信息管理更加高效[6]。SQL Server是一种关系数据库管理系统，它能提供超大型系统所需的数据库服务。大型服务器可能有成千上万的用户同时连接到 SQL Server实例。

我的SQL使用的SQL语言是访问数据库最常用的标准化语言。它可以通过简单操作实现复杂查询功能，并且具有良好的可扩展性和可维护性等优点。随着网络技术的不断发展，ASP.NET成为目前互联网上最为流行的Web应用之一。MySQL软件采用双授权政策，分为社区版版本和商业版。由于其体积小，速度快，总体拥有成本低，特别是开放源码，MySQL用作中小型网站发展的网站数据库。

2.5 SPRINGBOOT框架

Spring Boot是由Pivotal的开发团队在2013年开发的一个免费、轻量级、开源的系统框架。SpringBoot的主要设计思想是约定大于配置，因此SpringBoot在设计时几乎达到零配置。SpringBoot集成了业界的开源框架。

SpringBoot是一个非常强大的后台框架，因为SpringBoot的开发基本上不需要写配置文件，所以利用SpringBoot来构建网站的后台环境，在SpringBoot的YML配置文件中写项目启动端口，项目就可以启动了。项目的Java和静态文件由SpringBoot管理。