计算机毕业设计hadoop+spark+hive漫画推荐系统 动漫视频推荐系统 漫画分析可视化大屏 漫画爬虫 漫画推荐系统 漫画爬虫 知识图谱 大数据

流程:
++1.DrissionPage+Selenium自动爬虫工具采集漫画视频、详情、标签等约200万条漫画数据存入mysql数据库;
2.Mapreduce对采集的动漫数据进行数据清洗、拆分数据项等,转为.csv文件上传hadoop的hdfs集群;
3.hive建库建表导入.csv动漫数据;
4.一半指标使用hive_sql分析得出,一半指标使用Spark之Scala完成;
5.sqoop对分析结果导入mysql数据库;
6.Flask+echarts搭建可视化大屏;
创新点:Python全新DrissionPage+Selenium双爬虫使用、海量数据、爬虫、可视化大屏、离线hive+实时Spark双实现++

相关推荐
JJ_KING&1 小时前
FPGA实现直流电机转速、电压、电流测量系统(基于EP4CE6F17C8 + INA226)
fpga开发·课程设计
清风6666662 小时前
基于单片机的元胞自动机仿真系统设计
单片机·嵌入式硬件·毕业设计·课程设计
kunge1v53 小时前
学习爬虫第四天:多任务爬虫
爬虫·python·学习·beautifulsoup
点灯小铭3 小时前
基于单片机的N型热电偶PID锅炉温度控制系统
单片机·嵌入式硬件·毕业设计·课程设计
IT森林里的程序猿5 小时前
基于Hadoop的京东电商平台手机推荐系统的设计与实现
大数据·hadoop·智能手机
秃头菜狗6 小时前
十四、运行经典案例 wordcount
大数据·linux·hadoop
Java战神6 小时前
Hadoop
大数据·hadoop·分布式
SelectDB6 小时前
岚图汽车 x Apache Doris : 海量车联网数据实时分析实践
数据分析·github·数据可视化
CM莫问8 小时前
推荐算法之粗排
深度学习·算法·机器学习·数据挖掘·排序算法·推荐算法·粗排
科兴第一吴彦祖10 小时前
基于Spring Boot + Vue 3的乡村振兴综合服务平台
java·vue.js·人工智能·spring boot·推荐算法