bigtop

TTBIGDATA10 天前
大数据·hadoop·ambari·hdp·hue·cdh·bigtop
【Ambari Plus】14.Hue 安装Hue 是一个 Web 化的数据入口,常用来访问 HDFS 文件、Hive 查询、作业浏览和 Notebook 类能力。它不像 HDFS、YARN 那样承担底层存储或调度,但它会把前面装好的 HDFS、Hive、Spark 等组件串到一个页面里,所以我会把 Hue 放在这一组组件的最后安装。
TTBIGDATA11 天前
大数据·运维·hadoop·ambari·hdp·cdh·bigtop
【Ambari Plus】15.Livy 安装Livy 是 Spark 的 REST 服务入口。它不会替代 Spark History Server,也不会自己负责资源调度;它的作用更像一个网关:外部系统通过 HTTP 提交 Spark Session、Statement 或批任务,Livy 再把任务交给 Spark on YARN。
TTBIGDATA14 天前
hive·hadoop·flink·ambari·hdp·cdh·bigtop
【Ambari Plus】12.Flink 安装Flink 在这套环境里主要接入 YARN 运行。安装时会部署 FLINK_HISTORYSERVER 和 FLINK_CLIENT,HistoryServer 用来看已完成作业,Client 用来提交 Flink 任务。
TTBIGDATA18 天前
大数据·hadoop·ambari·hdp·cdh·bigtop·ambari plus
【Ambari Plus】06.MapReduce2 安装MapReduce2 在这套安装流程里不是单独再开一个向导安装,而是在选择 YARN 时被自动纳入依赖。页面会显示本次安装同时处理 YARN 和 MapReduce2,所以这一篇重点讲 MapReduce2 在同一向导里的角色分配和安装后确认。
TTBIGDATA16 天前
大数据·运维·hadoop·ambari·hdp·cdh·bigtop
【Ambari Plus】10.HBase 安装HBase 是基于 HDFS 的分布式列式存储,安装前必须先保证 HDFS 和 ZooKeeper 已经正常运行。我的安装顺序是先完成 HDFS、YARN、Tez、Hive、Sqoop,再安装 HBase;这样 HBase 后续和 Hive、Phoenix、Ranger 的联动会更顺。
TTBIGDATA5 个月前
开发语言·python·ambari·kerberos·ranger·atlas·bigtop
【Atlas】Atlas 搜索时报 `__AtlasUserProfile` 不存在导致事务回滚在 Atlas 正常启动、Solr 索引健康的情况下,访问 Web UI 的 搜索页面,控制台请求不断触发,但后台日志中持续出现图事务回滚异常。
TTBIGDATA5 个月前
大数据·kafka·ambari·linq·ranger·knox·bigtop
【Atlas】Ambari 中 开启 Kerberos + Ranger 后 Atlas Hook 无权限访问 Kafka Topic:ATLAS_HOOKAtlas Server 启动过程中,主线程初始化阶段是完整且正常的。 从日志顺序可以确认,图事务、任务调度、指标模块均已成功加载。
TTBIGDATA6 个月前
大数据·sql·spark·ambari·kerberos·hue·bigtop
【Hue】Ambari开启 Kerberos 后,Hue 使用 Spark SQL出现凭证不统一问题处理开启 Kerberos 后,Hue 使用 Spark SQL(Spark Thrift Server)访问出现:
TTBIGDATA6 个月前
大数据·hadoop·ambari·kerberos·ranger·knox·bigtop
【Ranger】Ranger Admin 配置 Knox 策略时出现,the trustAnchors parameter must be non-empty页面级别报错信息(核心关键词:KnoxUrl / topologies):Error! org.apache.ranger.plugin.client.HadoopException: Exception on REST call to KnoxUrl : https://dev1:6543/gateway/admin/api/v1/topologies.
TTBIGDATA6 个月前
大数据·网络·hdfs·ui·ambari·hdp·bigtop
【KNOX 】服务启动后,日志中出现与 Ranger 插件资源文件相关的告警 policymgr-ssl 启动告警Knox 服务启动后,日志中出现与 Ranger 插件资源文件相关的告警,典型特征是:观察点 /etc/ranger/abc_knox/ 目录下的文件通常是成对出现的(同一语义两份:默认名 + 带 repo_name 的变体),这为后续“缺哪一个”提供了非常直观的对照基线。
TTBIGDATA6 个月前
大数据·hadoop·ambari·hdp·国产化·hue·bigtop
【Hue 】Hue 访问 YARN 返回 403 权限问题我们的大数据平台代码已经开源 >>>>> TTbigdata在 Ambari + Bigtop 环境中完成 Hue 安装后,通过 Hue 查看 YARN 应用列表 或相关资源页面,页面无法正常加载。
TTBIGDATA6 个月前
大数据·运维·ambari·hdp·trino·knox·bigtop
【knox】User: knox is not allowed to impersonate admin在 Knox 服务已经正常启动的前提下,通过 Knox Gateway 访问 HDFS Web 页面时,页面无法正常展示,返回如下异常信息。
TTBIGDATA6 个月前
大数据·hadoop·分布式·ambari·hdp·hue·bigtop
【Hue】Hue 访问 Hadoop 权限问题出现 403 的解决办法我们的大数据平台代码已经开源 >>>>> TTbigdata在 Ambari + Bigtop 环境中完成 Hue 安装后,访问 Hue 的 HDFS 文件浏览器,页面直接报错。
TTBIGDATA6 个月前
运维·开源·ambari·hdp·kerberos·knox·bigtop
【Knox】Apache Knox 2.1.0 ,开启Kerberos 后,Invalid keystore format 问题处理在启动 Knox Gateway 服务时,进程未完成初始化即退出。 通过 gateway.log 可以观察到如下关键错误信息:
TTBIGDATA6 个月前
大数据·hadoop·ambari·hdp·kerberos·knox·bigtop
【Knox编译】xmlsectool 依赖缺失问题解析代码已经提交到github,完整代码请参考:Ttbigdata在基于 Bigtop 编译 Apache Knox 2.1.0 的过程中,整体构建已经进入后半段,大量模块显示为 SKIPPED,但在处理安全相关模块时构建突然中断。
TTBIGDATA6 个月前
大数据·hadoop·ambari·hdp·kerberos·knox·bigtop
【Knox编译】webhdfs-test 依赖收敛冲突问题处理代码已经提交到github,完整代码请参考:Ttbigdata在 Bigtop 编译 Apache Knox 2.1.0 的过程中,构建流程推进到测试相关模块:
TTBIGDATA7 个月前
大数据·运维·ambari·trino·knox·bigtop·ttbigdata
【Ambari开启Kerberos】Knox 接入 Trino web-ui 解决方案代码已经提交到github:Ttbigdata在 未开启 Kerberos 的情况下,Trino Web UI 使用的是传统的 Form 登录模式,浏览器直接访问即可完成认证并进入 UI 页面。
TTBIGDATA8 个月前
大数据·hive·hadoop·硬件架构·ambari·kerberos·bigtop
【Ambari开启Kerberos】- Atlas启动 - Hive服务检查异常处理ttr-2.2.1 以上版本已修复 在 ttr-2.2.1 及以上版本中,Atlas 在开启 Kerberos 后会自动完成 Hive Hook 注入。 若使用早期版本(如 ttr-2.2.0),在 Service Check 环节可能因 Hive 未加载 Atlas Hook JAR 而失败。 如在部署或二开中遇到类似问题,可联系作者 获取补丁。
TTBIGDATA8 个月前
运维·数据仓库·hadoop·ubuntu·ambari·hdp·bigtop
【Ambari开启Kerberos】Step1-KDC服务初始化安装-适合Ubuntu温馨提示 本文内容在 Ubuntu 22.04 系统 下完成测试,相关系列系统在配置路径与命令格式上基本一致。 如在部署中遇到问题,可联系作者共同探讨或反馈。 👉 联系入口在此页
TTBIGDATA8 个月前
大数据·运维·hadoop·ambari·cdh·bigtop·ttbigdata
【Ambari开启Kerberos】KERBEROS SERVICE CHECK 报错温馨提示 本文内容在 Ubuntu 22.04 系统 下完成测试,相关系列系统在配置路径与命令格式上基本一致。 如在部署中遇到问题,可联系作者共同探讨或反馈。 👉 联系入口在此页