【hadoop】疫情离线分析案例

准备:

疫情数据集,mysql,hive,sqoop,davinci,hadoop集群环境

阶段 1 :数据准备

1. MySQL 源表

mysql

复制代码
CREATE DATABASE covid19 DEFAULT CHARSET 'utf8mb4'

CREATE TABLE `covid_source` (
  `id` INT NOT NULL AUTO_INCREMENT,
  `province` VARCHAR(20),
  `date` DATE,
  `confirmed` INT,
  `deaths` INT,
  `recovered` INT,
  PRIMARY KEY (`id`)
);

-- 插入数据语句(可以使用Python,也可以sql)
INSERT INTO `covid_source` 
(province, date, confirmed, deaths, recovered) VALUES
('湖北','2023-01-01', 54306, 1320, 32415),
('广东','2023-01-01', 1523, 8, 1240),
...

(你也可以使用LOAD DATA命令,直接将数据集导入到Hive中)

阶段 2 Hive 数仓构建

1. Sqoop 导入 Hive (关键命令)

复制代码
bash
复制代码
sqoop import \
--connect jdbc:mysql://master:3306/covid19 \
--username root \
--password 123456 \
--table covid_source \
--hive-import \
--hive-table ods_covid_source \
--create-hive-table \
--fields-terminated-by '\001'

2. Hive 分层建模

复制代码
hivesql
复制代码
-- ODS层(原始数据)(Sqoop导入时自动创建)
CREATE TABLE ods_covid_source (
  province STRING,
  `date` DATE,
  confirmed INT,
  deaths INT,
  recovered INT
) STORED AS TEXTFILE;

-- DWD层(清洗后)
CREATE TABLE dwd_covid_stats AS
SELECT 
  province,
  `date`,
  confirmed,
  deaths,
  recovered,
  (confirmed - deaths - recovered) AS current_confirmed 
FROM ods_covid_source 
WHERE `date` IS NOT NULL;

阶段 3 :分析指标计算

1. 核心分析 SQL 示例

复制代码
hivesql
复制代码
-- 各省累计确诊--DWS层
CREATE TABLE dws_province_top AS
SELECT 
  province,
  MAX(confirmed) AS total_confirmed				
FROM dwd_covid_stats
GROUP BY province
ORDER BY total_confirmed DESC;

-- 全国每日新增趋势--DWS层
CREATE TABLE dws_daily_growth AS
SELECT 
  `date`,
CASE
WHEN `date` = MIN(`date`) OVER() THEN 0
ELSE SUM(confirmed) - LAG(SUM(confirmed),1) OVER(ORDER BY `date`) 
END AS new_confirmed
FROM dwd_covid_stats
GROUP BY `date`;

阶段 4 Sqoop 导出到 MySQL

1. MySQL 结果表设计

复制代码
mysql
复制代码
CREATE TABLE `ads_province_top` (
  `province` VARCHAR(20) PRIMARY KEY,
  `total_confirmed` INT
);

CREATE TABLE `ads_daily_growth` (
  `date` DATE PRIMARY KEY,
  `new_confirmed` INT
);

2. Sqoop 导出命令

复制代码
bash
复制代码
# 导出省份TOP10数据
sqoop export \
--connect "jdbc:mysql://master:3306/covid19?useUnicode=true&characterEncoding=utf8" \
--username root \
--password 123456 \
--table ads_province_top \
--export-dir /user/hive/warehouse/dws_province_top \
--input-fields-terminated-by '\001'

# 导出每日趋势数据(增量导出示例)
sqoop export \
--connect "jdbc:mysql://master:3306/covid19?useUnicode=true&characterEncoding=utf8" \
--username root \
--password 123456 \
--table ads_daily_growth \
--export-dir /user/hive/warehouse/dws_daily_growth \
--input-fields-terminated-by '\001'

阶段 5 Davinci 可视化配置

1. 数据源连接

  • 在Davinci中添加MySQL数据源:

类型: MySQL
URL: jdbc:mysql://master:3306/covid19
用户名/密码: root 123456

2. 可视化看板设计

  • ​****组件 1 :疫情地图
    • 数据模型:SELECT province, total_confirmed FROM ads_province_top
    • 图表类型:中国地图
    • 映射字段:province -> 区域, total_confirmed -> 颜色深浅
  • ​****组件 2 :趋势折线图
    • 数据模型:SELECT date, new_confirmed FROM ads_daily_growth
    • 图表类型:折线图
    • X轴:date, Y轴:new_confirmed

效果图

相关推荐
云和数据.ChenGuang17 分钟前
大型企业级金融信贷平台需求报告
大数据·金融·毕业设计
Hello.Reader1 小时前
Flink 有状态流处理State、Keyed State、Checkpoint、对齐/不对齐与生产实践
大数据·flink·linq
帅气的小峰1 小时前
【源码剖析】5-生产者-RecordAccumulator分析
大数据·kafka·源码
源码宝2 小时前
智慧工地系统:建筑行业数字化转型的核心趋势,集成云计算、物联网、大数据等技术,构建覆盖施工全周期的智能化管理体系。
大数据·源码·软件开发·智慧工地·智慧工地源码·数字工地·工地智能化
zzywxc7872 小时前
AI 开发工具全景指南:从编码辅助到模型部署的全流程实践
大数据·人工智能·低代码·机器学习·golang·自动化·ai编程
nlog3n2 小时前
分布式短链接系统设计方案
java·分布式
鲲志说2 小时前
电子证照系统国产化改造实践:从MongoDB到金仓数据库的平滑迁移与性能优化
大数据·数据库·mongodb·性能优化·数据库开发·数据库架构·金仓数据库
元基时代3 小时前
专业的短视频发布矩阵哪家靠谱
大数据·人工智能·python·矩阵
gb42152873 小时前
Elasticsearch 搭建(亲测)
大数据·elasticsearch·jenkins
菜鸡儿齐4 小时前
flink批处理-时间和窗口
大数据·flink