大数据学习(36)- Hive和YARN

&&大数据学习&&
🔥系列专栏: 👑哲学语录: 承认自己的无知,乃是开启智慧的大门

💖如果觉得博主的文章还不错的话,请点赞👍+收藏⭐️+留言📝支持一下博主哦🤞


当客户端提交SQL作业到HiveServer2时,HiveServer2会根据用户提交的SQL作业及数据库中现有的元数据信息生成一份可供计算引擎执行的计划。每个执行计划对应若干MapReduce作业,Hive会将所有的MapReduce作业都提交到YARN中。YARN负责创建MapReduce作业对应的子任务,并协调它们的运行。YARN创建的子任务会与HDFS进行交互,获取计算所需的数据,计算完成后将最终的结果写入HDFS或者本地。

1.YARN

YARN作为资源管理和作业调度框架,能够动态调整资源分配,确保集群中的资源得到充分利用。这有助于提高Hive作业的执行效率,因为Hive可以依赖YARN来管理资源并调度作业,从而避免资源争抢和浪费。

2.HIVE

YARN支持运行各种类型的分布式应用程序,包括Hive的MapReduce作业。这使得Hive能够与其他大数据处理框架和应用程序高效运行在同一集群中,共同利用YARN提供的资源管理功能。

Hive和YARN在Hadoop生态系统中扮演着不同的角色但相互协作。Hive作为数据仓库工具提供了丰富的SQL查询功能,而YARN作为资源管理和作业调度框架则确保了Hive作业能够高效、可靠地执行。

相关推荐
乾元24 分钟前
如何把 CCIE / HCIE 的实验案例改造成 AI 驱动的工程项目——从“实验室能力”到“可交付系统”的完整迁移路径
大数据·运维·网络·人工智能·深度学习·安全·机器学习
我的xiaodoujiao26 分钟前
使用 Python 语言 从 0 到 1 搭建完整 Web UI自动化测试学习系列 39--生成 Allure测试报告
python·学习·测试工具·pytest
QiZhang | UESTC27 分钟前
学习日记day53
学习
qq_5710993528 分钟前
学习周报三十
学习
xiaobaishuoAI32 分钟前
后端工程化实战指南:从规范到自动化,打造高效协作体系
java·大数据·运维·人工智能·maven·devops·geo
风行男孩33 分钟前
stm32基础学习——串口(USART)的基本使用
stm32·嵌入式硬件·学习
诺狞猫34 分钟前
SF32LB52-i2c驱动TM1650
学习·sifli
却道天凉_好个秋37 分钟前
音视频学习(八十二):mp4v
学习·音视频·mp4v
俊哥大数据41 分钟前
【实战项目5】基于Flink新闻热搜大数据实时分析项目
大数据·flink
好奇龙猫41 分钟前
【大学院-筆記試験練習:数据库(データベース問題訓練) と 软件工程(ソフトウェア)(6)】
学习