使用腾讯CNB构建Hadoop定制容器镜像

说明

使用腾讯CNB构建Apache Hadoop容器镜像,

文中文件在https://cnb.cool/zhudev-2025/apache-hadoop-dev

配置runner

runner是Apache Hadoop构建容器镜像的基础镜像。用runner构建最终的Hadoop容器镜像。

旧版与当前Hadoop官网使用的相同,可以参考https://cnb.cool/zhudev-2025/apache-hadoop-dev/-/tree/main/base

新版是改造版,可参考https://cnb.cool/zhudev-2025/apache-hadoop-dev/-/tree/main/base.new

对安全有要求,并且要求指定数据存储目录的,务必构建该容器镜像。

配置Hadoop

参考https://cnb.cool/zhudev-2025/apache-hadoop-dev/-/blob/main/Dockerfile

注意,这是标准配置,是Hadoop提供的标准配置。只修改FROM部分为自己构建的runner镜像即可,也可使用Hadoop官方提供的,虽然已经很多漏洞和问题。

配置流水线触发文件

参考https://cnb.cool/zhudev-2025/apache-hadoop-dev/-/blob/main/.cnb.yml,这是重点,可以实现自动构建。

查看结果

在下图所示位置查看构建进展

查看容器镜像制品

相关推荐
TTBIGDATA2 小时前
【Ambari Plus】13.Spark 安装
大数据·hadoop·分布式·spark·ambari·sqoop·ambari plus
keyanbanyungong4 小时前
被市场忽略的AI4S细分赛道:MedPeer生物医药科研数字化稀缺龙头
大数据·人工智能
得物技术4 小时前
得物 OceanBase 落地实践
数据库·分布式·架构
北京软秦科技有限公司5 小时前
跨区域批量项目交付难题如何破解?IACheck AI报告审核通审Agent版推动检测机构实现报告均质化管理
大数据·人工智能
鉴生Eric5 小时前
改造预算有限怎么办?先车库、走廊等高耗电区域分步升级照明
大数据·人工智能
AllData公司负责人5 小时前
数据集成管理|AIIData数据中台实现MySQL、Hive、Oracle一键接入Doris
大数据·数据库·人工智能·hive·mysql·oracle·数据分析
Databend5 小时前
小 Bitmap,大优化:Databend 如何加速大规模集合聚合
大数据·数据库·sql
本旺5 小时前
Flink 2.x状态演进:理解解 1.x 与 2.x 状态存储机制
大数据·flink
格子生意经6 小时前
GEO系统多引擎自适应算法实战解析
大数据·人工智能