计算机毕业设计hadoop+spark+hive漫画推荐系统 动漫视频推荐系统 漫画分析可视化大屏 漫画爬虫 漫画推荐系统 漫画爬虫 知识图谱 大数据

流程:
++1.DrissionPage+Selenium自动爬虫工具采集漫画视频、详情、标签等约200万条漫画数据存入mysql数据库;
2.Mapreduce对采集的动漫数据进行数据清洗、拆分数据项等,转为.csv文件上传hadoop的hdfs集群;
3.hive建库建表导入.csv动漫数据;
4.一半指标使用hive_sql分析得出,一半指标使用Spark之Scala完成;
5.sqoop对分析结果导入mysql数据库;
6.Flask+echarts搭建可视化大屏;
创新点:Python全新DrissionPage+Selenium双爬虫使用、海量数据、爬虫、可视化大屏、离线hive+实时Spark双实现++

相关推荐
冰帆<3 小时前
DBViewer — 把数据库工作台,安装进浏览器
数据库·数据可视化·数据同步
vx-程序开发3 小时前
【计算机毕设】基于Spring Boot的古城景区管理系统88564
java·数据库·spring boot·后端·spring·elasticsearch·课程设计
vx-Biye_Design4 小时前
springboot中国传统节日宣传平台49078-计算机课程设计、毕业设计
java·前端·vue.js·spring boot·后端·课程设计·idea
Highcharts4 小时前
常见报错排雷指南3:兼容性问题的官方解法
javascript·数据可视化
深蓝电商API6 小时前
爬虫日志系统如何设计?
爬虫
代码调试师6 小时前
【毕设分享】springboot攀枝花生鲜电商平台58990
java·vue.js·spring boot·后端·架构·eclipse·课程设计
2601_962300476 小时前
学习Python 爬虫路线
爬虫·python·学习路线·数据解析·反爬虫
萧行之9 小时前
Observable Plot 源码深度解析——4 核心抽象逐项学习
前端·学习·数据可视化
少冰9 小时前
前端埋点如何落地:从事件设计到上线验收
前端·数据分析·数据可视化
IT毕设实战小研10 小时前
基于大数据的公共交通运营数据分析与可视化的设计与实现
大数据·人工智能·随机森林·机器学习·数据挖掘·数据分析·课程设计