Spark图书数据分析系统 Springboot协同过滤-余弦函数推荐系统 爬虫1万+数据 大屏数据展示 + [手把手视频教程 和 开发文档]

Spark图书数据分析系统 Springboot协同过滤-余弦函数推荐系统 爬虫1万+数据 大屏数据展示 + [手把手视频教程 和 开发文档]

【亮点功能】

1.Springboot+Vue+Element-UI+Mysql前后端分离

2.Echarts图表统计数据, 直观展示数据情况

3.发表评论后,用户可以回复评论, 回复的评论可以被再次回复, 一级评论可以添加图片附件

4.爬虫图书数据1万+

5.推荐图书列表展示,推荐图书根据 协同过滤-余弦函数 进行推荐

6.数据导出和导入(文件格式为excel)

7.数据库优化: 使用 唯一索引, 联合索引, 外键关联, 视图,存储过程,函数,触发器

8.开发本项目过程中遇到的问题以及解决方法(视频形式阐述)

【技术栈】

1.后端开发语言java,框架Springboot, 开发工具IDEA

2.前端技术vue, html, css, 开发工具IDEA或者VSCODE

3.数据库使用mysql, 后端使用mybatis操作mysql, mybaits手写sql语句, 数据库表数量>10张

4.JWT验证身份并授权, 自定义注解, 拦截器, 切面, 前后端分离跨域访问

5.Element-UI, axios数据通讯交互, vue消息总线, flex样式布局, router路由

wangEditor富文本编辑器, Echarts图表统计数据

6.localStorage浏览器缓存存储用户信息 , 前端后端用户可同时在同一浏览器登录

7.数据库优化: 使用 唯一索引, 联合索引, 外键关联, 视图,存储过程,函数,触发器

【Spark项目】

1. 网站 Java爬取【豆瓣图书】 中图书数据, 保存为data.csv文件, 数据量1万+

2. data.csv上传到hadoop集群环境

3. data.csv数据清洗

4.Spark数据汇总处理, 将Spark的结果数据保存到本地Mysql数据库中

5. Springboot+Echarts+MySQL 显示数据分析结果

数据维度分别为【图书类型数量】【各年份图书出版数量】【各国家图书数量】【各国作者数量】【书籍类型评价均分】

书籍评论数量】【书籍常用词汇】【作者撰写图书数量】

【运行环境】 Idea JDK Maven XShell VM虚拟机 Mysql

【技术栈】 springboot vue echarts Hadoop Spark MarReduce mysql

【功能列表】

后台功能

1.登录, 修改登录用户的信息, 修改密码

2.首页统计 统计用户数量, 图书数量, 图书浏览量, 评论总数量

3.Echarts统计 用户注册统计(根据日期统计), 图书类型占比统计

4.管理员管理, 管理员增删改查, 批量删除

5.用户管理, 用户增删改查, 批量删除

6.图书类型管理, 类型增删改查, 批量删除

7.图书管理, 图书增删改查, 批量删除, 富文本编辑器(上传图片, 视频), 图书指定多个类型, 图书视频介绍

图书导出保存为excel格式, excel文件导入图书数据

8.评论管理, 评论删改查, 批量删除, 一级评论可修改(内容,评分,图片), 二级评论只能修改内容;

二层展示评论内容, 一层展开显示所有二层评论; 删除一级评论连带删除所有二级评论, 删除二级评论只删除二级本身

9.轮播图管理, 轮播图增删改查, 批量删除

10.留言板管理, , 留言删改查, 批量删除, 一级留言可修改(内容,图片), 二级留言只能修改内容;

二层展示留言内容, 一层展开显示所有二层留言; 删除一级留言连带删除所有二级留言, 删除二级留言只删除二级本身

11.公告类型管理, 公告类型增删改查, 批量删除

12.公告管理, 公告增删改查, 批量删除

13.系统日志, 日志查删, 批量删除, 通过切面+注解方式记录日志

前台功能

1.登录, 注册, 修改登录用户的信息, 修改密码

2.轮播图展示

3.热门图书列表展示

推荐图书列表展示,推荐图书根据 协同过滤-余弦函数 进行推荐

4.图书详情展示, 如果后台上传视频,详情页面可以播放视频

5.登录用户对进行 图书收藏,取消收藏

6.登录用户浏览图书详情记录历史浏览足迹

7.根据图书关键字全局搜索图书列表, 分类显示图书列表

8.登录用户对图书进行评论(包含: 评论内容, 分数, 附件图片), 显示总评论数量

用户对已经评论的内容进行二级回复评论(只能评论内容),

用户可以把自己的评论删除, 如果删除一级评论,连带删除所有二级评论

非登录可以查看用户对图书的所有评论

9.登录用户可以在留言板留言(包含: 留言内容, 附件图片), 显示总留言数量

用户对已经留言的内容进行二级回复留言(只能留言内容),

用户可以把自己的留言删除, 如果删除一级留言,连带删除所有二级留言

非登录可以查看用户的所有留言

10.公告通知轮播图,点击轮播图片,显示公告通知详情

公告通知按公告类型进行片区展示, 每个片区显示7条相应类型的公告通知数据, 点击可以查看公告通知详情

点击更多,分页列表显示相应类型下所有公告通知数据

11.用户中心 菜单包含[个人信息][修改密码][我的收藏][我的足迹][我的评论][我的留言]

12.菜单-个人信息 修改用户 昵称, 性别, 手机号码, 邮箱,头像 注: 手机号码, 邮箱不能与其他用户重复

13.菜单-修改密码 修改用户密码信息, 修改完成后重新登陆

14.菜单-我的收藏 根据 图书 名称查询收藏, 查看收藏图书详情, 删除收藏

15.菜单-我的足迹 根据 图书 名称查询历史足迹, 查看足迹图书详情, 删除足迹

16.菜单-我的评论 根据 图书 和 评论内容 条件查询评论记录, 修改一级评论(内容,评分,附件图片), 修改二级评论(只能内容)

删除一级评论连带删除所有二级评论, 删除二级评论只删除二级本身

17.菜单-我的留言 根据 留言 条件查询留言记录, 修改一级留言(内容,附件图片), 修改二级留言(只能内容)

删除一级留言连带删除所有二级留言, 删除二级留言只删除二级本身

相关推荐
jzheng86107 小时前
Spring Boot(快速上手)
java·spring boot·后端
wgslucky7 小时前
SpringBoot解决Request和Response的内容多次读取的问题
java·spring boot·多次读取request数据
深蓝电商API7 小时前
爬虫请求频率控制与模拟人类行为
爬虫
喵手7 小时前
Python爬虫实战:知识挖掘机 - 知乎问答与专栏文章的深度分页采集系统(附CSV导出 + SQLite持久化存储)!
爬虫·python·爬虫实战·零基础python爬虫教学·采集知乎问答与专栏文章·采集知乎数据·采集知乎数据存储sqlite
不倒翁玩偶7 小时前
IDEA导入新的SpringBoot项目没有启动按钮
java·spring boot·intellij-idea
禹凕8 小时前
Python编程——进阶知识(多线程)
开发语言·爬虫·python
程序媛徐师姐8 小时前
Python基于爬虫的网络小说数据分析系统【附源码、文档说明】
爬虫·python·python爬虫·网络小说数据分析系统·pytho网络小说数据分析系统·python爬虫网络小说·python爬虫的网络小说数据
jianghua0019 小时前
Python中的简单爬虫
爬虫·python·信息可视化
喵手9 小时前
Python爬虫实战:针对Python官网,精准提取出每一个历史版本的版本号、发布日期以及对应的文档/详情页链接等信息,并最终清洗为标准化的CSV文件!
爬虫·python·爬虫实战·零基础python爬虫教学·python官方数据采集·采集历史版本版本号等信息·导出csv文件
Elieal9 小时前
SpringBoot 数据层开发与企业信息管理系统实战
java·spring boot·后端