大数据学习(36)- Hive和YARN

&&大数据学习&&
🔥系列专栏: 👑哲学语录: 承认自己的无知,乃是开启智慧的大门

💖如果觉得博主的文章还不错的话,请点赞👍+收藏⭐️+留言📝支持一下博主哦🤞


当客户端提交SQL作业到HiveServer2时,HiveServer2会根据用户提交的SQL作业及数据库中现有的元数据信息生成一份可供计算引擎执行的计划。每个执行计划对应若干MapReduce作业,Hive会将所有的MapReduce作业都提交到YARN中。YARN负责创建MapReduce作业对应的子任务,并协调它们的运行。YARN创建的子任务会与HDFS进行交互,获取计算所需的数据,计算完成后将最终的结果写入HDFS或者本地。

1.YARN

YARN作为资源管理和作业调度框架,能够动态调整资源分配,确保集群中的资源得到充分利用。这有助于提高Hive作业的执行效率,因为Hive可以依赖YARN来管理资源并调度作业,从而避免资源争抢和浪费。

2.HIVE

YARN支持运行各种类型的分布式应用程序,包括Hive的MapReduce作业。这使得Hive能够与其他大数据处理框架和应用程序高效运行在同一集群中,共同利用YARN提供的资源管理功能。

Hive和YARN在Hadoop生态系统中扮演着不同的角色但相互协作。Hive作为数据仓库工具提供了丰富的SQL查询功能,而YARN作为资源管理和作业调度框架则确保了Hive作业能够高效、可靠地执行。

相关推荐
别了,李亚普诺夫11 分钟前
数字测速方法和PID控制
笔记·学习·电机
放氮气的蜗牛14 分钟前
从头开始学习AI:第五章 - 多分类与正则化技术
人工智能·学习·分类
焦糖玛奇朵婷29 分钟前
盲盒小程序开发科普:核心玩法与功能解析
大数据·数据库·程序人生·小程序·软件需求
盐焗西兰花31 分钟前
鸿蒙学习实战之路-Reader Kit阅读服务全攻略
学习·华为·harmonyos
LaoZhangGong1231 小时前
学习TCP/IP的第9步:客户端和服务端综合测试
网络·学习·tcp/ip
好物种草官1 小时前
广州儿童眼镜店深度测评:6家主流品牌横向对比与选择策略
大数据·人工智能·经验分享
星火开发设计1 小时前
格式化输入输出:控制输出精度与对齐方式
开发语言·c++·学习·算法·函数·知识
曾浩轩1 小时前
C语言学习记录——BC119 最高分与最低分之差
c语言·笔记·学习
Web3VentureView1 小时前
目标:覆盖全网主流公链,SYNBO 正式开启公链生态媒体合作矩阵计划
大数据·网络·人工智能·区块链·媒体·加密货币
EmbedLinX1 小时前
Linux 之网络通信
linux·服务器·c语言·笔记·学习