大数据学习(25)-hive核心总结

&&大数据学习&&

🔥系列专栏: 👑哲学语录: 承认自己的无知,乃是开启智慧的大门

💖如果觉得博主的文章还不错的话,请点赞👍+收藏⭐️+留言📝支持一下博主哦🤞


1 用户接口:Client

CLI(command-line interface)、JDBC/ODBC。

说明:JDBC和ODBC的区别。

(1)JDBC的移植性比ODBC好;(通常情况下,安装完ODBC驱动程序之后,还需要经过确定的配置才能够应用。而不相同的配置在不相同数据库服务器之间不能够通用。所以,安装一次就需要再配置一次。JDBC只需要选取适当的JDBC数据库驱动程序,就不需要额外的配置。在安装过程中,JDBC数据库驱动程序会自己完成有关的配置。)

(2)两者使用的语言不同,JDBC在Java编程时使用,ODBC一般在C/C++编程时使用。

2 元数据:Metastore

元数据包括:数据库(默认是default)、表名、表的拥有者、列/分区字段、表的类型(是否是外部表)、表的数据所在目录等。

默认存储在自带的derby数据库中,由于derby数据库只支持单客户端访问,生产环境中为了多人开发,推荐使用MySQL存储Metastore。

3 驱动器:Driver

(1)解析器(SQLParser):将SQL字符串转换成抽象语法树(AST)

(2)语义分析(Semantic Analyzer):将AST进一步划分为QeuryBlock

(3)逻辑计划生成器(Logical Plan Gen):将语法树生成逻辑计划

(4)逻辑优化器(Logical Optimizer):对逻辑计划进行优化

(5)物理计划生成器(Physical Plan Gen):根据优化后的逻辑计划生成物理计划

(6)物理优化器(Physical Optimizer):对物理计划进行优化

(7)执行器(Execution):执行该计划,得到查询结果并返回给客户端

4 Hadoop

使用HDFS进行存储,可以选择MapReduce/Tez/Spark进行计算。

相关推荐
晴空对晚照27 分钟前
[动手学习深度学习]12.权重衰退
人工智能·深度学习·学习
宇寒风暖34 分钟前
HTML嵌入CSS样式超详解(尊享)
前端·css·笔记·学习·html
不爱学习的小枫1 小时前
spark常见的submit参数
大数据·分布式·spark
闯闯桑1 小时前
Hive 中用于小文件合并的配置参数
数据仓库·hive·hadoop
GIS数据转换器2 小时前
空间遥感智能处理技术发展现状与趋势
大数据·人工智能·gis·智慧城市
虾球xz2 小时前
游戏引擎学习第149天
人工智能·学习·游戏引擎
jinan8862 小时前
图纸的安全怎么管理?
大数据·图像处理·人工智能·安全
奕天者2 小时前
C++学习笔记(十七)——类之封装
c++·笔记·学习
亭墨2 小时前
linux0.11内核源码修仙传第六章——中断初始化
linux·c语言·驱动开发·学习·面试
好多大米2 小时前
[资源分享]-web3/区块链/学习路线/资料/找工作方式/水龙头
学习·web3·区块链