hdp

TTBIGDATA10 天前
大数据·hadoop·ambari·hdp·hue·cdh·bigtop
【Ambari Plus】14.Hue 安装Hue 是一个 Web 化的数据入口,常用来访问 HDFS 文件、Hive 查询、作业浏览和 Notebook 类能力。它不像 HDFS、YARN 那样承担底层存储或调度,但它会把前面装好的 HDFS、Hive、Spark 等组件串到一个页面里,所以我会把 Hue 放在这一组组件的最后安装。
TTBIGDATA12 天前
大数据·运维·hadoop·ambari·hdp·cdh·bigtop
【Ambari Plus】15.Livy 安装Livy 是 Spark 的 REST 服务入口。它不会替代 Spark History Server,也不会自己负责资源调度;它的作用更像一个网关:外部系统通过 HTTP 提交 Spark Session、Statement 或批任务,Livy 再把任务交给 Spark on YARN。
TTBIGDATA14 天前
hive·hadoop·flink·ambari·hdp·cdh·bigtop
【Ambari Plus】12.Flink 安装Flink 在这套环境里主要接入 YARN 运行。安装时会部署 FLINK_HISTORYSERVER 和 FLINK_CLIENT,HistoryServer 用来看已完成作业,Client 用来提交 Flink 任务。
TTBIGDATA18 天前
大数据·hadoop·ambari·hdp·cdh·bigtop·ambari plus
【Ambari Plus】06.MapReduce2 安装MapReduce2 在这套安装流程里不是单独再开一个向导安装,而是在选择 YARN 时被自动纳入依赖。页面会显示本次安装同时处理 YARN 和 MapReduce2,所以这一篇重点讲 MapReduce2 在同一向导里的角色分配和安装后确认。
TTBIGDATA16 天前
大数据·运维·hadoop·ambari·hdp·cdh·bigtop
【Ambari Plus】10.HBase 安装HBase 是基于 HDFS 的分布式列式存储,安装前必须先保证 HDFS 和 ZooKeeper 已经正常运行。我的安装顺序是先完成 HDFS、YARN、Tez、Hive、Sqoop,再安装 HBase;这样 HBase 后续和 Hive、Phoenix、Ranger 的联动会更顺。
TTBIGDATA17 天前
大数据·hadoop·分布式·kafka·ambari·hdp·ambari plus
【Ambari Plus】11.Kafka 安装Kafka 用来承载消息发布订阅和流式数据管道。它依赖 ZooKeeper,本篇环境已经提前安装并启动了三节点 ZooKeeper,所以可以直接进入 Kafka 安装。
TTBIGDATA17 天前
大数据·hadoop·ambari·hdp·sqoop·cdh·ambari plus
【Ambari Plus】08.Sqoop 安装Sqoop 主要用于关系型数据库和 Hadoop 生态之间的数据导入导出。它不像 HDFS、YARN 那样有常驻服务进程,本篇安装的核心动作是把 SQOOP Client 分发到目标主机,并下发 sqoop-env、sqoop-site 等客户端配置。
TTBIGDATA6 个月前
hadoop·分布式·kafka·ambari·hdp·linq·ranger
【Atlas】Atlas Hook 消费 Kafka 报错:GroupAuthorizationExceptionAtlas 启动后,NotificationHookConsumer 线程持续报错,典型信息是:现象要点
TTBIGDATA6 个月前
大数据·数据仓库·hive·hadoop·ambari·hdp·ranger
【Ranger】Ambari开启Kerberos 后 ,Ranger 中 Hive 策略里,Resource lookup fail 线程池超时优化在 Ranger 中配置 Resource(例如 Hive 的 database/table)时,如果输入节奏较快,页面会弹出类似提示:
TTBIGDATA6 个月前
大数据·网络·hdfs·ui·ambari·hdp·bigtop
【KNOX 】服务启动后,日志中出现与 Ranger 插件资源文件相关的告警 policymgr-ssl 启动告警Knox 服务启动后,日志中出现与 Ranger 插件资源文件相关的告警,典型特征是:观察点 /etc/ranger/abc_knox/ 目录下的文件通常是成对出现的(同一语义两份:默认名 + 带 repo_name 的变体),这为后续“缺哪一个”提供了非常直观的对照基线。
TTBIGDATA6 个月前
大数据·hadoop·ambari·hdp·国产化·hue·bigtop
【Hue 】Hue 访问 YARN 返回 403 权限问题我们的大数据平台代码已经开源 >>>>> TTbigdata在 Ambari + Bigtop 环境中完成 Hue 安装后,通过 Hue 查看 YARN 应用列表 或相关资源页面,页面无法正常加载。
TTBIGDATA6 个月前
大数据·运维·前端·hadoop·ui·ambari·hdp
【Knox】Knox 转发访问 Trino Web UI 返回 406 错误的原因与处理在 Knox 已完成接入、并通过 Knox 访问 Trino Web UI 时,点击页面链接后直接返回 406 错误:
TTBIGDATA6 个月前
大数据·运维·ambari·hdp·trino·knox·bigtop
【knox】User: knox is not allowed to impersonate admin在 Knox 服务已经正常启动的前提下,通过 Knox Gateway 访问 HDFS Web 页面时,页面无法正常展示,返回如下异常信息。
TTBIGDATA6 个月前
大数据·hadoop·分布式·ambari·hdp·hue·bigtop
【Hue】Hue 访问 Hadoop 权限问题出现 403 的解决办法我们的大数据平台代码已经开源 >>>>> TTbigdata在 Ambari + Bigtop 环境中完成 Hue 安装后,访问 Hue 的 HDFS 文件浏览器,页面直接报错。
TTBIGDATA6 个月前
运维·开源·ambari·hdp·kerberos·knox·bigtop
【Knox】Apache Knox 2.1.0 ,开启Kerberos 后,Invalid keystore format 问题处理在启动 Knox Gateway 服务时,进程未完成初始化即退出。 通过 gateway.log 可以观察到如下关键错误信息:
TTBIGDATA6 个月前
大数据·hadoop·ambari·hdp·kerberos·knox·bigtop
【Knox编译】xmlsectool 依赖缺失问题解析代码已经提交到github,完整代码请参考:Ttbigdata在基于 Bigtop 编译 Apache Knox 2.1.0 的过程中,整体构建已经进入后半段,大量模块显示为 SKIPPED,但在处理安全相关模块时构建突然中断。
TTBIGDATA6 个月前
大数据·hadoop·ambari·hdp·kerberos·knox·bigtop
【Knox编译】webhdfs-test 依赖收敛冲突问题处理代码已经提交到github,完整代码请参考:Ttbigdata在 Bigtop 编译 Apache Knox 2.1.0 的过程中,构建流程推进到测试相关模块:
TTBIGDATA7 个月前
大数据·运维·hadoop·ambari·hdp·trino·knox
【Ambari开启Kerberos】-Trino启动-配置模板代码已经提交到github:Ttbigdata在 Ambari 管理的集群中,Trino 实际运行时使用的 config.properties 并不是手工编写的文件,而是由 Ambari 根据 配置模板(Jinja2) 渲染生成。
TTBIGDATA8 个月前
运维·数据仓库·hadoop·ubuntu·ambari·hdp·bigtop
【Ambari开启Kerberos】Step1-KDC服务初始化安装-适合Ubuntu温馨提示 本文内容在 Ubuntu 22.04 系统 下完成测试,相关系列系统在配置路径与命令格式上基本一致。 如在部署中遇到问题,可联系作者共同探讨或反馈。 👉 联系入口在此页
TTBIGDATA1 年前
hadoop·ambari·hdp·grafana·cdh·bigtop·ambari-metrics
【Ambari-Metrics监控】Grafana+Infinity快速构建DEMO-插件安装https://doc.janettr.com/在 Grafana 9.x 环境下,原有的 ambari-metrics-datasource 插件已无法使用。 替代方案是安装 Infinity 插件。