本文档整理Ambari集群全量核心组件、附属工具及安全服务,按业务模块分类,清晰说明各服务、角色的定位与核心功能,适用于集群运维、学习查阅、台账备案。
一、MapReduce2 离线计算服务
HistoryServer
MapReduce任务历史查询服务,是离线批处理任务的核心排查组件。主要用于存储、记录已完成、失败的MR任务全量运行数据,包含任务日志、运行耗时、资源占用、报错信息等。对外提供Web可视化界面,支持运维人员追溯任务运行状态、定位报错原因、分析性能瓶颈,是离线计算场景必备的运维组件。
二、Ambari Infra 基础检索服务
Infra Solr Instance
Ambari集群内置的专属检索实例,仅服务于集群内部,不对外提供业务检索能力。核心用于存储、索引、检索集群各类日志与审计数据,涵盖Ambari组件运行日志、Ranger权限操作审计日志、Hive、HBase等组件的操作审计记录。依托检索能力,支撑集群运维排查、安全合规审计追溯,是集群日志审计的核心载体。
三、Ambari Metrics 集群监控服务
Metrics Collector
集群监控指标的核心汇聚与存储服务。统一接收集群所有节点、所有组件上报的运行指标,包含CPU、内存、磁盘、网络、服务请求量、读写延迟等核心数据,对海量指标进行聚合、预处理与持久化存储,为可视化展示、异常告警、性能分析提供完整数据源。
Grafana
开源监控可视化工具,对接Metrics Collector指标数据。支持自定义监控大盘、多维度数据图表展示、指标阈值告警,可直观呈现集群整体运行状态、组件负载变化、资源使用率趋势,帮助运维人员实时掌握集群健康度,快速识别异常问题。
Metrics Monitors
集群各节点的指标采集代理,部署于集群所有服务器。负责实时采集本地系统资源、进程运行状态、组件运行指标,完成数据初步过滤后,统一上报至Metrics Collector,是集群监控数据的源头组件。
四、Apache Ranger 数据安全权限服务
Ranger Admin
Ranger权限体系的核心管控服务,提供Web管理控制台。支持可视化配置大数据组件的细粒度权限策略,涵盖HDFS、Hive、HBase、Kafka等组件的库、表、字段、路径级别的读写权限控制。统一存储全量权限策略元数据,对接各类同步、审计组件,实现集群数据权限的统一管控。
Ranger Usersync
用户与用户组同步组件。定时从企业统一身份源(LDAP/AD)同步用户、用户组信息至Ranger系统,保证权限配置中的用户主体与企业组织架构一致,避免权限配置失效、用户身份不匹配问题,支撑企业规范化权限管理。
Ranger Tagsyncs
数据标签同步与权限关联组件。主要同步Hive等数据仓库的资产标签、分类标签至Ranger,实现基于标签的动态权限管控。无需针对单个用户、单张表重复配置权限,大幅简化大规模集群的数据权限治理工作。
RANGER AUDIT LOADER
Ranger审计日志加载组件。自动采集集群所有权限访问、权限操作的审计日志,实时写入Infra Solr Instance进行索引存储。支持审计日志持久化、快速检索、追溯核查,满足企业数据安全合规、操作留痕的管控要求。
五、Apache HBase 分布式时序数据库服务
master(HBase Master)
HBase集群主节点核心服务,负责集群全局管理。主要功能包括维护数据表元数据、管理数据分片(Region)分配,均衡各节点负载;监控RegionServer运行状态,节点故障时自动完成数据分片迁移与故障恢复,保障HBase集群稳定运行。
regionserver(HBase RegionServer)
HBase集群从节点服务,是数据读写的实际执行单元。负责管理本地数据分片,直接承接客户端的增删改查请求;完成数据缓存、持久化写入、数据合并、版本管理等工作,支撑海量结构化、时序数据的低延迟随机读写。
六、Apache Atlas 数据治理元数据服务
大数据生态统一元数据管理与数据治理平台。自动采集Hive、HBase、Kafka等全生态组件的元数据信息,构建完整的数据资产目录。核心能力包括数据血缘分析、数据分类标签、资产溯源、合规管控,解决大数据平台数据混乱、资产不明、溯源困难的问题。
七、Apache Kafka 分布式消息队列服务
高吞吐、高可用的分布式实时消息中间件。作为大数据集群的核心数据管道,负责实时采集、缓存、分发日志数据、业务事件数据、流式数据。可为Spark、Flink等实时计算框架提供稳定数据源,广泛应用于实时数仓、日志分析、数据同步场景。
八、Apache Knox 集群安全网关服务
GateWay(Knox Gateway)
大数据集群统一安全访问网关。提供唯一的外部访问入口,隐藏集群内部节点IP、端口与服务细节,规避内网暴露风险。统一承接外部访问请求,集成LDAP、Kerberos身份认证、权限校验、SSL加密、访问审计能力,全方位保障集群外网访问安全。
九、ClickHouse 高性能分析数据库服务
面向列式存储的高性能分析型数据库。具备秒级海量数据查询能力,读写性能优异,支持大规模日志分析、用户行为分析、实时报表统计。可无缝对接Hadoop生态,读取HDFS离线数据,兼顾离线分析与实时多维查询场景,弥补传统Hive查询延迟高的短板。
十、UTools 集群运维工具集
FsImage Server
HDFS文件系统镜像解析服务。专门解析HDFS核心元数据文件FsImage,快速读取集群目录结构、文件权限、文件大小、存储占用等元数据信息,支撑HDFS存储盘点、资源治理、异常文件排查等运维工作。
HDFS2S3
HDFS数据冷热迁移工具。支持将HDFS中的离线冷数据、归档数据批量迁移至S3兼容对象存储,实现数据分层存储。有效降低集群本地存储压力,兼顾数据备份、成本优化、数据归档的业务需求。
Hadoop Monitor
Hadoop集群专项监控工具。针对性监控HDFS、YARN、HBase等核心组件的运行状态、服务存活、任务运行、资源负载,实时识别集群异常并触发告警,辅助运维人员快速定位集群故障,保障核心服务稳定运行。
十一、USecurity 集群安全认证服务集
LDAP
企业统一身份目录服务。集中存储企业员工、运维账号、用户组等身份信息,为Ranger权限认证、Knox网关访问、集群账号登录提供统一身份数据源,实现全集群账号统一管理、统一认证。
Krb5kdc
Kerberos安全认证核心服务(密钥分发中心)。负责集群所有服务、用户的认证票据生成、分发与管理,是Kerberos双向认证体系的核心。杜绝集群匿名访问、伪造访问,保障集群内部通信、服务交互的安全性。
KAdmin
Kerberos认证管理工具。用于维护Kerberos认证体系,支持创建、修改、删除服务主体、用户主体,生成、管理密钥文件,配置认证策略,是集群Kerberos安全体系运维管理的核心工具。
SSSD
系统安全服务守护进程。打通服务器本地系统与LDAP、Kerberos身份体系,实现集群所有节点账号统一同步、统一认证。用户可使用统一企业账号登录任意集群节点,简化多节点身份管理,提升集群安全性与运维效率。