ambari

【Ambari Plus】14.Hue 安装Hue 是一个 Web 化的数据入口，常用来访问 HDFS 文件、Hive 查询、作业浏览和 Notebook 类能力。它不像 HDFS、YARN 那样承担底层存储或调度，但它会把前面装好的 HDFS、Hive、Spark 等组件串到一个页面里，所以我会把 Hue 放在这一组组件的最后安装。

【Ambari Plus】15.Livy 安装Livy 是 Spark 的 REST 服务入口。它不会替代 Spark History Server，也不会自己负责资源调度；它的作用更像一个网关：外部系统通过 HTTP 提交 Spark Session、Statement 或批任务，Livy 再把任务交给 Spark on YARN。

【Ambari Plus】13.Spark 安装Spark 是批处理、SQL、流处理和机器学习场景里很常用的计算引擎。本篇在已经安装 HDFS、YARN、Hive、Flink、Kafka 的基础上继续安装 Spark。

【Ambari Plus】12.Flink 安装Flink 在这套环境里主要接入 YARN 运行。安装时会部署 FLINK_HISTORYSERVER 和 FLINK_CLIENT，HistoryServer 用来看已完成作业，Client 用来提交 Flink 任务。

【Ambari Plus】06.MapReduce2 安装MapReduce2 在这套安装流程里不是单独再开一个向导安装，而是在选择 YARN 时被自动纳入依赖。页面会显示本次安装同时处理 YARN 和 MapReduce2，所以这一篇重点讲 MapReduce2 在同一向导里的角色分配和安装后确认。

【Ambari Plus】10.HBase 安装HBase 是基于 HDFS 的分布式列式存储，安装前必须先保证 HDFS 和 ZooKeeper 已经正常运行。我的安装顺序是先完成 HDFS、YARN、Tez、Hive、Sqoop，再安装 HBase；这样 HBase 后续和 Hive、Phoenix、Ranger 的联动会更顺。

【Ambari Plus】11.Kafka 安装Kafka 用来承载消息发布订阅和流式数据管道。它依赖 ZooKeeper，本篇环境已经提前安装并启动了三节点 ZooKeeper，所以可以直接进入 Kafka 安装。

【Ambari Plus】08.Sqoop 安装Sqoop 主要用于关系型数据库和 Hadoop 生态之间的数据导入导出。它不像 HDFS、YARN 那样有常驻服务进程，本篇安装的核心动作是把 SQOOP Client 分发到目标主机，并下发 sqoop-env、sqoop-site 等客户端配置。

Hadoop大数据生态（Ambari管理）组件服务详解本文档整理Ambari集群全量核心组件、附属工具及安全服务，按业务模块分类，清晰说明各服务、角色的定位与核心功能，适用于集群运维、学习查阅、台账备案。

Linux随记（三十）处理方法：重启ambari-agent环境信息：bclinux euler 21.10 。单节点mysql 8.0.44 需要升级到 8.0.46

ambari server及元数据库(postgreSQL)迁移1.1停止Hive1.2停止ranger备份配置文件目录备份密钥目录记录当前数据库连接信息全局角色信息

【Atlas】Atlas 搜索时报 `__AtlasUserProfile` 不存在导致事务回滚在 Atlas 正常启动、Solr 索引健康的情况下，访问 Web UI 的搜索页面，控制台请求不断触发，但后台日志中持续出现图事务回滚异常。

【Atlas】Ambari 中开启 Kerberos + Ranger 后 Atlas Hook 无权限访问 Kafka Topic：ATLAS_HOOKAtlas Server 启动过程中，主线程初始化阶段是完整且正常的。从日志顺序可以确认，图事务、任务调度、指标模块均已成功加载。

【Atlas】Atlas Hook 消费 Kafka 报错：GroupAuthorizationExceptionAtlas 启动后，NotificationHookConsumer 线程持续报错，典型信息是：现象要点

【Hue】Ambari开启 Kerberos 后，Hue 使用 Spark SQL出现凭证不统一问题处理开启 Kerberos 后，Hue 使用 Spark SQL（Spark Thrift Server）访问出现：

【Ranger】Ranger Admin 配置 Knox 策略时出现，the trustAnchors parameter must be non-empty页面级别报错信息（核心关键词：KnoxUrl / topologies）：Error! org.apache.ranger.plugin.client.HadoopException: Exception on REST call to KnoxUrl : https://dev1:6543/gateway/admin/api/v1/topologies.

【Ranger】Ambari开启Kerberos 后，Ranger 中 Hive 策略里，Resource lookup fail 线程池超时优化在 Ranger 中配置 Resource（例如 Hive 的 database/table）时，如果输入节奏较快，页面会弹出类似提示：

【KNOX 】服务启动后，日志中出现与 Ranger 插件资源文件相关的告警 policymgr-ssl 启动告警Knox 服务启动后，日志中出现与 Ranger 插件资源文件相关的告警，典型特征是：观察点 /etc/ranger/abc_knox/ 目录下的文件通常是成对出现的（同一语义两份：默认名 + 带 repo_name 的变体），这为后续“缺哪一个”提供了非常直观的对照基线。

【Hue】Ambari 页面启动 Hue 失败 user ‘hadoop‘ does not exist先看最直观的异常：Hue 组件在 Ambari 上点击启动后失败，界面会提示启动异常（截图如下）。Ambari Agent 执行 Hue 脚本时抛出 ExecutionFailed，并明确给出失败命令与返回码：

【Hue 】Hue 访问 YARN 返回 403 权限问题我们的大数据平台代码已经开源 >>>>> TTbigdata在 Ambari + Bigtop 环境中完成 Hue 安装后，通过 Hue 查看 YARN 应用列表或相关资源页面，页面无法正常加载。