使用腾讯CNB构建Hadoop定制容器镜像

说明

使用腾讯CNB构建Apache Hadoop容器镜像,

文中文件在https://cnb.cool/zhudev-2025/apache-hadoop-dev

配置runner

runner是Apache Hadoop构建容器镜像的基础镜像。用runner构建最终的Hadoop容器镜像。

旧版与当前Hadoop官网使用的相同,可以参考https://cnb.cool/zhudev-2025/apache-hadoop-dev/-/tree/main/base

新版是改造版,可参考https://cnb.cool/zhudev-2025/apache-hadoop-dev/-/tree/main/base.new

对安全有要求,并且要求指定数据存储目录的,务必构建该容器镜像。

配置Hadoop

参考https://cnb.cool/zhudev-2025/apache-hadoop-dev/-/blob/main/Dockerfile

注意,这是标准配置,是Hadoop提供的标准配置。只修改FROM部分为自己构建的runner镜像即可,也可使用Hadoop官方提供的,虽然已经很多漏洞和问题。

配置流水线触发文件

参考https://cnb.cool/zhudev-2025/apache-hadoop-dev/-/blob/main/.cnb.yml,这是重点,可以实现自动构建。

查看结果

在下图所示位置查看构建进展

查看容器镜像制品

相关推荐
Data-Miner7 小时前
需要做财务数据分析,有什么好用的工具?从准备到出报告的实操指南
大数据·数据库·数据分析
阿里云大数据AI技术9 小时前
StarRocks × Paimon C++:加速湖上数据分析
大数据·人工智能
用户3610588626129 小时前
Flink 配置深度剖析:从配置加载到参数调优的完整指南
大数据·flink
ha_lydms9 小时前
Window Functions(窗口函数)
大数据·数据仓库·hadoop·spark·数据处理·dataworks·maxcompute
2601_9520477910 小时前
委外入库单同步:旺店通到金蝶云星空的实战配置
大数据·钉钉·制造
阿里云大数据AI技术10 小时前
【云栖实录】一切数据,皆可计算:MaxCompute 升级为AI Native全模态计算服务
大数据·人工智能·agent
珠海西格电力10 小时前
物联网(IoT)在零碳园区中的关键作用:万物互联与数据采集
大数据·人工智能·物联网·安全·系统架构·能源
一条泥憨鱼10 小时前
【Redis | 黑马点评】分布式锁;Lua脚本;Redisson与看门狗 |源码万字详解
redis·分布式·lua
AI产品测评官10 小时前
2026企业AI招聘选型指南:四类技术路线与硬科技场景适配方案
大数据·人工智能·科技·求职招聘·ai-native
SelectDB技术团队10 小时前
Snowflake 的开源替代怎么选:能力对照、三条部署路径与迁移执行
大数据·数据库·云原生·开源·snowflake·apache doris