计算机毕业设计hadoop+spark+hive动漫推荐系统 漫画推荐系统 漫画分析可视化大屏 漫画爬虫 漫画推荐系统 漫画爬虫 知识图谱 大数据毕设

流程:

1.DrissionPage采集知音漫客约2万条国产动漫数据存入mysql数据库;

2.Mapreduce对采集的动漫数据进行数据清洗、拆分数据项等,转为.csv文件上传hadoop的hdfs集群;

3.hive建库建表导入.csv动漫数据;

4.一半指标使用hive_sql分析得出,一半指标使用Spark之Scala完成;

5.sqoop对分析结果导入mysql数据库;

6.Flask+echarts搭建可视化大屏;

创新点:Python全新DrissionPage爬虫使用、海量数据、爬虫、可视化大屏、离线hive+实时Spark双实现

可选装:推荐系统、预测系统、知识图谱、后台管理等。

核心算法代码分享如下:

sql 复制代码
/*
Navicat MySQL Data Transfer

Source Server         : Win7本地测试_localhost_3306_123456_版本5.7
Source Server Version : 50714
Source Host           : localhost:3306
Source Database       : hive_zymk

Target Server Type    : MYSQL
Target Server Version : 50714
File Encoding         : 65001

Date: 2023-08-30 11:43:34
*/

SET FOREIGN_KEY_CHECKS=0;

-- ----------------------------
-- Table structure for tb_zymk
-- ----------------------------
DROP TABLE IF EXISTS `tb_zymk`;
CREATE TABLE `tb_zymk` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `title` text COLLATE utf8mb4_bin COMMENT '漫画名称',
  `update_times` text COLLATE utf8mb4_bin COMMENT '每周更新时间',
  `tags` text COLLATE utf8mb4_bin COMMENT '标签',
  `content` text COLLATE utf8mb4_bin COMMENT '内容',
  `readings` text COLLATE utf8mb4_bin COMMENT '阅读量',
  `subscribes` text COLLATE utf8mb4_bin COMMENT '订阅量',
  `rewards` text COLLATE utf8mb4_bin COMMENT '打赏',
  `monthtickets` text COLLATE utf8mb4_bin COMMENT '月票',
  `recommends` text COLLATE utf8mb4_bin COMMENT '推荐次数',
  `comments` text COLLATE utf8mb4_bin COMMENT '评论量',
  `scores` text COLLATE utf8mb4_bin COMMENT '评分',
  `author` text COLLATE utf8mb4_bin COMMENT '作者',
  `zps` text COLLATE utf8mb4_bin COMMENT '代表作',
  `ctime` text COLLATE utf8mb4_bin COMMENT '章节最后更新时间',
  `img` text COLLATE utf8mb4_bin,
  `url` text COLLATE utf8mb4_bin,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=1437 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_bin;
相关推荐
TomEval9 小时前
【测AI】第26篇:线上模型监控与告警体系 — 测试不是终点
人工智能·python·功能测试·ai
prince_zxill10 小时前
PEP 751 pylock.toml 实测:pip 26.3 装 6 个包版本全钉死,但 [web] 选不中任何东西
python·pip·依赖管理·pep 751
Thanks_ks11 小时前
Python 的垃圾回收——引用计数撑起日常,分代回收收拾残局
python·内存管理·垃圾回收·循环引用·引用计数·gc 模块·weakref
CyrusYiVPP11 小时前
实测 uv 0.13.7:同一套包,pip 装 94 秒,它只用 19 秒
人工智能·python
罗西的思考12 小时前
【轻量化复刻大模型 / KIMI K3】Muon 优化器及 训练系统
人工智能·算法·机器学习
yiangL_12 小时前
Python 学习笔记:递归、turtle绘图、字符串与函数
笔记·python·学习
lula88813 小时前
PVC-U、PVC-C、PVC-O 差一个字母,差的是三种增强路线
python
Asher112513 小时前
电池数据整理复盘:从 MAT 文件到充电曲线
机器学习
大大大大晴天13 小时前
每天认识一个组件:VictoriaMetrics
大数据
数字工作台14 小时前
给 LangGraph 加一道可审计记忆:替换默认 Checkpointer,实现防篡改 + 崩溃不丢数据
python·agent