技术栈
hdp
TTBIGDATA
10 天前
大数据
·
hadoop
·
ambari
·
hdp
·
hue
·
cdh
·
bigtop
【Ambari Plus】14.Hue 安装
Hue 是一个 Web 化的数据入口,常用来访问 HDFS 文件、Hive 查询、作业浏览和 Notebook 类能力。它不像 HDFS、YARN 那样承担底层存储或调度,但它会把前面装好的 HDFS、Hive、Spark 等组件串到一个页面里,所以我会把 Hue 放在这一组组件的最后安装。
TTBIGDATA
12 天前
大数据
·
运维
·
hadoop
·
ambari
·
hdp
·
cdh
·
bigtop
【Ambari Plus】15.Livy 安装
Livy 是 Spark 的 REST 服务入口。它不会替代 Spark History Server,也不会自己负责资源调度;它的作用更像一个网关:外部系统通过 HTTP 提交 Spark Session、Statement 或批任务,Livy 再把任务交给 Spark on YARN。
TTBIGDATA
14 天前
hive
·
hadoop
·
flink
·
ambari
·
hdp
·
cdh
·
bigtop
【Ambari Plus】12.Flink 安装
Flink 在这套环境里主要接入 YARN 运行。安装时会部署 FLINK_HISTORYSERVER 和 FLINK_CLIENT,HistoryServer 用来看已完成作业,Client 用来提交 Flink 任务。
TTBIGDATA
18 天前
大数据
·
hadoop
·
ambari
·
hdp
·
cdh
·
bigtop
·
ambari plus
【Ambari Plus】06.MapReduce2 安装
MapReduce2 在这套安装流程里不是单独再开一个向导安装,而是在选择 YARN 时被自动纳入依赖。页面会显示本次安装同时处理 YARN 和 MapReduce2,所以这一篇重点讲 MapReduce2 在同一向导里的角色分配和安装后确认。
TTBIGDATA
16 天前
大数据
·
运维
·
hadoop
·
ambari
·
hdp
·
cdh
·
bigtop
【Ambari Plus】10.HBase 安装
HBase 是基于 HDFS 的分布式列式存储,安装前必须先保证 HDFS 和 ZooKeeper 已经正常运行。我的安装顺序是先完成 HDFS、YARN、Tez、Hive、Sqoop,再安装 HBase;这样 HBase 后续和 Hive、Phoenix、Ranger 的联动会更顺。
TTBIGDATA
17 天前
大数据
·
hadoop
·
分布式
·
kafka
·
ambari
·
hdp
·
ambari plus
【Ambari Plus】11.Kafka 安装
Kafka 用来承载消息发布订阅和流式数据管道。它依赖 ZooKeeper,本篇环境已经提前安装并启动了三节点 ZooKeeper,所以可以直接进入 Kafka 安装。
TTBIGDATA
17 天前
大数据
·
hadoop
·
ambari
·
hdp
·
sqoop
·
cdh
·
ambari plus
【Ambari Plus】08.Sqoop 安装
Sqoop 主要用于关系型数据库和 Hadoop 生态之间的数据导入导出。它不像 HDFS、YARN 那样有常驻服务进程,本篇安装的核心动作是把 SQOOP Client 分发到目标主机,并下发 sqoop-env、sqoop-site 等客户端配置。
TTBIGDATA
6 个月前
hadoop
·
分布式
·
kafka
·
ambari
·
hdp
·
linq
·
ranger
【Atlas】Atlas Hook 消费 Kafka 报错:GroupAuthorizationException
Atlas 启动后,NotificationHookConsumer 线程持续报错,典型信息是:现象要点
TTBIGDATA
6 个月前
大数据
·
数据仓库
·
hive
·
hadoop
·
ambari
·
hdp
·
ranger
【Ranger】Ambari开启Kerberos 后 ,Ranger 中 Hive 策略里,Resource lookup fail 线程池超时优化
在 Ranger 中配置 Resource(例如 Hive 的 database/table)时,如果输入节奏较快,页面会弹出类似提示:
TTBIGDATA
6 个月前
大数据
·
网络
·
hdfs
·
ui
·
ambari
·
hdp
·
bigtop
【KNOX 】服务启动后,日志中出现与 Ranger 插件资源文件相关的告警 policymgr-ssl 启动告警
Knox 服务启动后,日志中出现与 Ranger 插件资源文件相关的告警,典型特征是:观察点 /etc/ranger/abc_knox/ 目录下的文件通常是成对出现的(同一语义两份:默认名 + 带 repo_name 的变体),这为后续“缺哪一个”提供了非常直观的对照基线。
TTBIGDATA
6 个月前
大数据
·
hadoop
·
ambari
·
hdp
·
国产化
·
hue
·
bigtop
【Hue 】Hue 访问 YARN 返回 403 权限问题
我们的大数据平台代码已经开源 >>>>> TTbigdata在 Ambari + Bigtop 环境中完成 Hue 安装后,通过 Hue 查看 YARN 应用列表 或相关资源页面,页面无法正常加载。
TTBIGDATA
6 个月前
大数据
·
运维
·
前端
·
hadoop
·
ui
·
ambari
·
hdp
【Knox】Knox 转发访问 Trino Web UI 返回 406 错误的原因与处理
在 Knox 已完成接入、并通过 Knox 访问 Trino Web UI 时,点击页面链接后直接返回 406 错误:
TTBIGDATA
6 个月前
大数据
·
运维
·
ambari
·
hdp
·
trino
·
knox
·
bigtop
【knox】User: knox is not allowed to impersonate admin
在 Knox 服务已经正常启动的前提下,通过 Knox Gateway 访问 HDFS Web 页面时,页面无法正常展示,返回如下异常信息。
TTBIGDATA
6 个月前
大数据
·
hadoop
·
分布式
·
ambari
·
hdp
·
hue
·
bigtop
【Hue】Hue 访问 Hadoop 权限问题出现 403 的解决办法
我们的大数据平台代码已经开源 >>>>> TTbigdata在 Ambari + Bigtop 环境中完成 Hue 安装后,访问 Hue 的 HDFS 文件浏览器,页面直接报错。
TTBIGDATA
6 个月前
运维
·
开源
·
ambari
·
hdp
·
kerberos
·
knox
·
bigtop
【Knox】Apache Knox 2.1.0 ,开启Kerberos 后,Invalid keystore format 问题处理
在启动 Knox Gateway 服务时,进程未完成初始化即退出。 通过 gateway.log 可以观察到如下关键错误信息:
TTBIGDATA
6 个月前
大数据
·
hadoop
·
ambari
·
hdp
·
kerberos
·
knox
·
bigtop
【Knox编译】xmlsectool 依赖缺失问题解析
代码已经提交到github,完整代码请参考:Ttbigdata在基于 Bigtop 编译 Apache Knox 2.1.0 的过程中,整体构建已经进入后半段,大量模块显示为 SKIPPED,但在处理安全相关模块时构建突然中断。
TTBIGDATA
6 个月前
大数据
·
hadoop
·
ambari
·
hdp
·
kerberos
·
knox
·
bigtop
【Knox编译】webhdfs-test 依赖收敛冲突问题处理
代码已经提交到github,完整代码请参考:Ttbigdata在 Bigtop 编译 Apache Knox 2.1.0 的过程中,构建流程推进到测试相关模块:
TTBIGDATA
7 个月前
大数据
·
运维
·
hadoop
·
ambari
·
hdp
·
trino
·
knox
【Ambari开启Kerberos】-Trino启动-配置模板
代码已经提交到github:Ttbigdata在 Ambari 管理的集群中,Trino 实际运行时使用的 config.properties 并不是手工编写的文件,而是由 Ambari 根据 配置模板(Jinja2) 渲染生成。
TTBIGDATA
8 个月前
运维
·
数据仓库
·
hadoop
·
ubuntu
·
ambari
·
hdp
·
bigtop
【Ambari开启Kerberos】Step1-KDC服务初始化安装-适合Ubuntu
温馨提示 本文内容在 Ubuntu 22.04 系统 下完成测试,相关系列系统在配置路径与命令格式上基本一致。 如在部署中遇到问题,可联系作者共同探讨或反馈。 👉 联系入口在此页
TTBIGDATA
1 年前
hadoop
·
ambari
·
hdp
·
grafana
·
cdh
·
bigtop
·
ambari-metrics
【Ambari-Metrics监控】Grafana+Infinity快速构建DEMO-插件安装
https://doc.janettr.com/在 Grafana 9.x 环境下,原有的 ambari-metrics-datasource 插件已无法使用。 替代方案是安装 Infinity 插件。