hive的工作机制

hive的工作机制

1、在hive中建一个库

---在hive的元数据库中记录

---在hdfs的默认路径下/user/hive/warehouse/ 建一个以 "库名.db" 为名字的文件夹

2、在hive的库中建表

---在hive的元数据库中记录

---在hdfs的默认路径下 /user/hive/warehouse/库.db/ 下建一个 "表名" 为名字的文件夹

3、hive中内部表和外部表的区别

----建表时,内部表不用指定数据存放的路径,默认都放在 /user/hive/warehouse/

----外部表建表时,要指定external关键字,同时要指定数据存放的路径(要分析的数据在哪就指定哪)

----内部表删除时,会清掉元数据,同时删掉表文件夹及其中的数据

----外部表删除时,只清除元数据

4、hive表的数据可以存成多种文件格式,最普通的是textfile,但是性能比较好的是 sequenceFile格式

----sequencefile 是一种二进制文件

----文件内的内容组织形式为key:value

----在hadoop有一个优化场景可以使用sequencefile

小文件合并成大文件:

---读一个小文件,就把小文件的文件名作为key,内容作为value,追加到一个大sequencefile文件中

----sequencefile文件格式支持较好的压缩性能,而且hadoop的mapreduce程序可以直接从sequencefile的压缩文件中直接读取数据

5、在linux的shell中直接运行HQL语句的方法

//cli shell

bash 复制代码
hive -S -e 'select country,count(*) from tab_ext' > /home/hadoop/hivetemp/e.txt   

这种运行机制非常重要,在生产中就是用这种机制来将大量的HQL逻辑组织在一个批量执行的shell脚本程序中

6、分区表

分区表的意义在于可以针对一个分区来进行统计从而减小统计的数据集

创建分区表要使用关键字 partitioned by (country string)

导入数据到分区表的时候需要指定这份数据所属的分区 load data ..... partition(country='china')

hive就会在hdfs的表目录建一个分区子文件夹,名字为 country=china ,这一个分区的数据就放在该子文件夹下

针对分区进行的查询和统计只要指定 where条件,将分区标识看成一个普通表字段就可以 where country='china'

相关推荐
starzy19904 小时前
Structured Streaming 模块与编程模型:引擎内部到底由什么组成
大数据·hadoop·hdfs
AI源码1 天前
基于 Hadoop 和 Hive 的旅游景区数据的分析与可视化系统
hive·hadoop·旅游
DataY轻量数据平台3 天前
任务调度的三种模式:什么时候跑、按什么顺序跑、等谁跑完
数据仓库·etl
演艺大赏3 天前
三个坑连环套:一次 NameNode 起不来,从 JournalNode 未格式化查到配置里多了个挂载点
大数据·hadoop
宽海智能仓储物流3 天前
宽海智能WCS系统常见问题全解析:从选型对接、运维定制到降本增效
运维·数据仓库·自动化
starzy19903 天前
Hadoop介绍总结:一张图理清组件、生态与版本
java·hadoop
演艺大赏4 天前
两个 NameNode 一起起不来以及Hadoop 3.3.2 里那个认不出自家 JournalNode 的 Servlet
大数据·hadoop
演艺大赏4 天前
RESTServer 起不来,日志只有一行:headerCacheSize 65536 exceeds maximum value of 65534
大数据·hadoop·hbase
吾AI科技6 天前
基于Tez引擎的 Hive SQL 性能优化 —— 为什么脚本运行越来越慢
大数据·hive·性能优化·tez
上海潭龙东海科技有限公司7 天前
客运站管控之动态孪生技术方案(新增一屏管控模块
数据仓库·人工智能·算法·重构·动态规划