大数据学习(36)- Hive和YARN

&&大数据学习&&
🔥系列专栏: 👑哲学语录: 承认自己的无知,乃是开启智慧的大门

💖如果觉得博主的文章还不错的话,请点赞👍+收藏⭐️+留言📝支持一下博主哦🤞


当客户端提交SQL作业到HiveServer2时,HiveServer2会根据用户提交的SQL作业及数据库中现有的元数据信息生成一份可供计算引擎执行的计划。每个执行计划对应若干MapReduce作业,Hive会将所有的MapReduce作业都提交到YARN中。YARN负责创建MapReduce作业对应的子任务,并协调它们的运行。YARN创建的子任务会与HDFS进行交互,获取计算所需的数据,计算完成后将最终的结果写入HDFS或者本地。

1.YARN

YARN作为资源管理和作业调度框架,能够动态调整资源分配,确保集群中的资源得到充分利用。这有助于提高Hive作业的执行效率,因为Hive可以依赖YARN来管理资源并调度作业,从而避免资源争抢和浪费。

2.HIVE

YARN支持运行各种类型的分布式应用程序,包括Hive的MapReduce作业。这使得Hive能够与其他大数据处理框架和应用程序高效运行在同一集群中,共同利用YARN提供的资源管理功能。

Hive和YARN在Hadoop生态系统中扮演着不同的角色但相互协作。Hive作为数据仓库工具提供了丰富的SQL查询功能,而YARN作为资源管理和作业调度框架则确保了Hive作业能够高效、可靠地执行。

相关推荐
C++、Java和Python的菜鸟6 小时前
第2章 项目前置课-代码版本控制Git
大数据·elasticsearch·搜索引擎
小席是个热心肠6 小时前
AI相关的自我学习
java·人工智能·学习
Sammyyyyy6 小时前
如何在不停项目不停机的情况下切换AI大模型
大数据·人工智能
circuitsosk7 小时前
跨境电商智能化实战:AI如何赋能客服自动回复、广告智能投放与供应链预测
大数据·人工智能·python·langchain·智能客服
数智化管理手记8 小时前
海量数据如何沉淀有效数据资产?数据标准化治理方案如何搭建?
java·大数据·人工智能
何事误红尘8 小时前
Mqtt学习笔记(一):Mosquitto服务器搭建、MQTTX安装测试
学习
青山是哪个青山9 小时前
LangChain 学习笔记(三):LangSmith 调试与监控
笔记·学习·langchain
刀客Doc9 小时前
即时零售不只是多一个渠道,品牌开始重做终端生意
大数据·数据库
湘美书院--湘美谈教育9 小时前
湘美书院主理人谈AI文学:提示词与Skill的与时俱进
大数据·人工智能·安全·自动化·生活
weixin_549808369 小时前
人力资源数字化转型:从工具堆叠到AI原生架构的组织级跃迁路径
大数据·人工智能