【大数据处理与分析】数据仓库Hive:07 Hive HA基本原理

【作者主页】Francek Chen

【专栏介绍】⌈ ⌈ ⌈大数据技术原理与应用 ⌋ ⌋ ⌋专栏系统介绍大数据的相关知识,分为大数据基础篇、大数据存储与管理篇、大数据处理与分析篇、大数据应用篇。内容包含大数据概述、大数据处理架构Hadoop、分布式文件系统HDFS、分布式数据库HBase、NoSQL数据库、云数据库、MapReduce、Hadoop再探讨、数据仓库Hive、Spark、流计算、Flink、图计算、数据可视化,以及大数据在互联网领域、生物医学领域的应用和大数据的其他应用。

【GitCode】专栏资源保存在我的GitCode仓库:https://gitcode.com/Morse_Chen/BigData_principle_application。

文章目录


Hive 的功能十分强大,可以支持采用 SQL 方式查询 Hadoop 平台上的数据。但是,在实际应用中,Hive 也暴露出不稳定的问题,在极少数情况下,甚至会出现端口不响应或者进程丢失的问题。Hive HA 的出现,就是为了解决这类问题。

Hive HA 基本原理如图1所示。在 Hive HA 中,在 Hadoop 集群上构建的数据仓库是由多个 Hive 实例进行管理的,这些 Hive 实例被纳入一个资源池中,并由 HAProxy 提供一个统一的对外接口。客户端的查询请求首先访问 HAProxy,由 HAProxy 对访问请求进行转发。HAProxy 收到请求后,会轮询资源池里可用的 Hive 实例,执行逻辑可用性测试。如果某个 Hive 实例逻辑可用,就会把客户端的访问请求转发到该 Hive 实例上,如果该 Hive 实例逻辑不可用,就把它放入黑名单,并继续从资源池中取出下一个 Hive 实例进行逻辑可用性测试。对于黑名单中的 Hive 实例,HiveHA 会每隔一段时间进行统一处理,首先尝试重启该 Hive 实例,如果重启成功,就再次把它放入资源池中。由于采用 HAProxy 提供统一的对外访问接口,因此,对于程序开发人员来说,可以把它当作一台超强"Hive"。


图1 Hive HA 基本原理

欢迎 点赞👍 | 收藏⭐ | 评论✍ | 关注🤗

相关推荐
棣廷1 小时前
初识Hadoop
大数据·hadoop·分布式
亘元有量-流量变现1 小时前
手游自然流量增长逻辑:基于2026商店算法的全套ASO优化体系拆解
大数据·用户运营·aso优化·亘元有量·方糖试玩
PaperData1 小时前
2004-2025年中国农产品价格调查年鉴EXCEL+PDF
大数据·pdf
昨夜见军贴06161 小时前
监测文档校验体系搭建思路,IACheck AI 报告文档审核 Agent 助力竣工环保验收工作
大数据·人工智能
和裕1 小时前
定制纸箱刀卡、平卡、隔档分别是什么?结构与适用场景区别全解析
大数据·运维·网络·人工智能·算法
yydbjx1 小时前
苏州儿童早矫方案多维对比:MRC/隐形早矫/功能矫治/观察等待
大数据
DataX_ruby822 小时前
数据中台建设的人力成本测算:全周期岗位配置、三种建设模式对比与隐性成本
大数据·数据治理·数据中台
这个DBA有点耶2 小时前
ELT工具选型:ETL与ELT差异、CDC同步机制与主流工具对比`
数据库·数据仓库·sql·database·dba·etl·数据库管理员
玩AI的奶茶2 小时前
什么情况适合租算力?一张场景对照表,加三个自测问题
大数据·linux·服务器·数据库·人工智能·python