Apache Hive(三)

一、Apache Hive

1、ETL数据清洗

数据问题

问题1:当前数据中,有一些数据的字段为空,不是合法数据

解决:where 过滤

问题2:需求中,需要统计每天、每个小时的消息量,但是数据中没有天和小时字段,只有整体时间字段,不好处理

解决:Substr函数

问题3:从GPS的经纬度中提取经度和纬度

解决:split函数

问题4:将ETL以后的结果保存到一张新的Hive表中

解决:create table ... as select ....

2、SQL编写与指标计算

需求:

1、统计今日总消息量

sql 复制代码
-- 按天分组,求总和
select dayinfo,count(*) as tolal_cnt from t_msg group by dayinfo

2、统计今日每小时消息量、发送和接收用户数

sql 复制代码
-- 按天,小时分组,求发送/接收用户数--一人发送多条消息
select dayinfo,hourinfo,count(*) as tolal_cnt,
 count(distinct sender_account) as sender_cnt,
 count(distinct recdiver_account) as recdiver_cnt
  from t_msg group by dayinfo,hourinfo

3、统计今日各地区发送消息数据量

4、统计今日发送消息和接收消息的用户数

sql 复制代码
-- 按天分组,求发送/接收用户数--一人发送多条消息
select dayinfo,count(*) as tolal_cnt,
 count(distinct sender_account) as sender_cnt,
 count(distinct recdiver_account) as recdiver_cnt
  from t_msg group by dayinfo

5、统计今日发送消息最多的Top10用户

sql 复制代码
-- 按天和用户分组,求发送用户数--一人发送多条消息
select dayinfo,send_name,count(*) as msg_cnt
  from t_msg group by dayinfo,send_name order by msg_cnt desc limit 10;

6、统计今日接收消息最多的Top10用户

sql 复制代码
-- 按天和用户分组,求发送用户数--一人发送多条消息
select dayinfo,recdiver_name,count(*) as msg_cnt
  from t_msg group by dayinfo,recdiver_name order by msg_cnt desc limit 10;

7、统计发送人的手机型号分布情况

8、统计发送人的设备操作系统分布情况

1、实际开发中,拿到业务需求指标,如何下手?

2、SQL层面如何编写查询语句?

例:

**需求:**统计每个城市男女人数与男女平均年龄(表:t_user[id,name,age,sex,city])

分组字段:每个城市、男女

聚合字段:人数、平均年龄

count(id)就是统计每个分组中的条数--->人数

avg(age)就是统计每个分组中年龄的平均值--->平均年龄

3、FineBI实现可视化报表

Apache Hive(二)

请记住,你当下的结果,由过去决定;你现在的努力,在未来见效;
不断学习才能不断提高!磨炼,不断磨炼自己的技能!学习伴随我们终生!
生如蝼蚁,当立鸿鹄之志,命比纸薄,应有不屈之心。
乾坤未定,你我皆是黑马,若乾坤已定,谁敢说我不能逆转乾坤?
努力吧,机会永远是留给那些有准备的人,否则,机会来了,没有实力,只能眼睁睁地看着机会溜走。

相关推荐
Lx3525 小时前
Hadoop数据处理优化:减少Shuffle阶段的性能损耗
大数据·hadoop
Lx3521 天前
Hadoop容错机制深度解析:保障作业稳定运行
大数据·hadoop
IT毕设梦工厂2 天前
大数据毕业设计选题推荐-基于大数据的客户购物订单数据分析与可视化系统-Hadoop-Spark-数据可视化-BigData
大数据·hadoop·数据分析·spark·毕业设计·源码·bigdata
大数据CLUB2 天前
基于spark的澳洲光伏发电站选址预测
大数据·hadoop·分布式·数据分析·spark·数据开发
计算机编程小央姐2 天前
跟上大数据时代步伐:食物营养数据可视化分析系统技术前沿解析
大数据·hadoop·信息可视化·spark·django·课程设计·食物
IT学长编程2 天前
计算机毕业设计 基于Hadoop的健康饮食推荐系统的设计与实现 Java 大数据毕业设计 Hadoop毕业设计选题【附源码+文档报告+安装调试】
java·大数据·hadoop·毕业设计·课程设计·推荐算法·毕业论文
Lx3522 天前
Hadoop数据一致性保障:处理分布式系统常见问题
大数据·hadoop
IT学长编程2 天前
计算机毕业设计 基于Hadoop豆瓣电影数据可视化分析设计与实现 Python 大数据毕业设计 Hadoop毕业设计选题【附源码+文档报告+安装调试
大数据·hadoop·python·django·毕业设计·毕业论文·豆瓣电影数据可视化分析
Dobby_052 天前
【Hadoop】Yarn:Hadoop 生态的资源操作系统
大数据·hadoop·分布式·yarn